[논문 리뷰] Adaptive Online Learning

Dylan J. Foster, Alexander Rakhlin외 1명|arXiv (Cornell University)|2015. 08. 21.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 17

한 줄 요약

이 논문은 오프셋 복잡도 측도와 한쪽 꼬리 부등식을 사용하여 데이터 의존적이고 모델 선택에 기반한 리그레트 한계를 달성하는 일반적인 프레임워크를 제안한다. 이는 적응형 속도를 달성하기 위한 충분조건을 설정하며, 기존의 분위수, 이차항, 소 loss 한계를 복원하고 향상시키고, 온라인 선형 최적화를 위한 새로운 스펙트럼 노름 기반 한계와 가чёт 무한 집합에 대한 온라인 PAC-Bayes 정리를 도출한다.

ABSTRACT

We propose a general framework for studying adaptive regret bounds in the online learning framework, including model selection bounds and data-dependent bounds. Given a data- or model-dependent bound we ask, "Does there exist some algorithm achieving this bound?" We show that modifications to recently introduced sequential complexity measures can be used to answer this question by providing sufficient conditions under which adaptive rates can be achieved. In particular each adaptive rate induces a set of so-called offset complexity measures, and obtaining small upper bounds on these quantities is sufficient to demonstrate achievability. A cornerstone of our analysis technique is the use of one-sided tail inequalities to bound suprema of offset random processes. Our framework recovers and improves a wide variety of adaptive bounds including quantile bounds, second-order data-dependent bounds, and small loss bounds. In addition we derive a new type of adaptive bound for online linear optimization based on the spectral norm, as well as a new online PAC-Bayes theorem that holds for countably infinite sets.

연구 동기 및 목표

• 데이터 의존적이고 모델 선택(오라클 유형) 리그레트 한계를 다룰 수 있는 온라인 학습에서의 일반적인 적응형 리그레트 한계 프레임워크를 개발하는 것.
• 특히 통계 학습과는 대조적으로 온라인 학습에서 적응형 속도를 달성하기 위한 이론적 도구의 부족을 해결하는 것.
• 적응형 리그레트 한계를 달성할 수 있는 충분조건을 특정하는 것. 이는 수정된 순차적 복잡도 측도를 사용한다.
• 일반적인 분석 프레임워크를 통해 기존의 적응형 한계(분위수, 이차항, 소 loss 한계 등)를 통합하고 향상시키는 것.
• 온라인 선형 최적화를 위한 스펙트럼 노름 기반 한계와 가чёт 무한 집합에 대한 온라인 PAC-Bayes 정리와 같은 새로운 결과를 도출하는 것.

제안 방법

• 적응형 리그레트 속도에서 유도된 오프셋 복잡도 측도를 도입하며, 이러한 측도의 상한이 작을수록 해당 적응형 속도의 달성이 가능하다는 것을 보장한다.
• 일반적인 농도 불등식을 순차적 설정에서의 초과값을 제한하기 위해 한쪽 꼬리 부등식을 사용하여 대체한다.
• 분석은 순차적 라데마처 복잡도를 기준으로 삼고, 모델 복잡도와 데이터 의존성을 고려한 오프셋 과정을 통해 이를 확장한다.
• 이 방법은 감독 학습과 온라인 선형 최적화 모두에 적용되며, 손실 함수는 일반적인 형태에서 내적 형태까지 다양하게 적용된다.
• 처벌 항은 경험 과정의 변동성보다 약간 더 큰 것이어야 한다는 아이디어를 온라인 순차적 설정에 맞게 적응시킨다.
• 리그레트의 재귀적 분해를 사용하고, ε, y′, y′′ 등의 보조 변수를 도입하여 종속성을 분리하고 기대값 한계를 적용한다.

실험 결과

연구 질문

• RQ1 데이터 또는 모델 복잡도에 따라 달라지는 온라인 학습에서의 적응형 리그레트 한계를 달성할 수 있는 일반적인 프레임워크를 개발할 수 있는가?
• RQ2 주어진 적응형 리그레트 한계가 온라인 학습 설정에서 달성 가능한 충분조건는 무엇인가?
• RQ3 한쪽 꼬리 부등식은 범위가 제한된 차이 불등식이 실패하는 순차적 설정에서 농도 불등식을 어떻게 대체할 수 있는가?
• RQ4 기존의 적응형 한계(분위수, 이차항, 소 loss 한계 등)를 통합된 프레임워크 내에서 복원하고 향상시킬 수 있는가?
• RQ5 이 프레임워크를 통해 온라인 선형 최적화 및 PAC-Bayesian 설정에서 새로운 적응형 한계를 유도할 수 있는가?

주요 결과

• 오프셋 복잡도 측도의 상한이 작을 경우, 이는 목표로 하는 적응형 속도의 달성 가능성을 보장하는 충분조건를 제공한다.
• 일반적인 분석을 통해 기존의 알려진 적응형 한계(분위수 한계, 이차항 데이터 의존 한계, 소 loss 한계 등)를 복원하고 향상시킨다.
• 손실 수열의 스펙트럼 노름을 기반으로 한 새로운 온라인 선형 최적화를 위한 적응형 한계를 도출하였으며, 구조화된 설정에서 더 강력한 제어를 제공한다.
• 가чёт 무한한 가설 클래스에 대해 유효한 온라인 PAC-Bayes 정리를 확립하여, PAC-Bayesian 이론의 적용 범위를 온라인 학습으로 확장한다.
• 한쪽 꼬리 부등식의 사용은 순차적 설정에서 오프셋 과정의 초과값 분석을 가능하게 하여, 기존의 농도 불등식의 실패를 우회한다.
• 통계 학습에서의 '변동성보다 약간 큰 처벌 항' 원칙이 오프셋 과정과 한쪽 부등식을 통해 온라인 학습에 적응적으로 적용될 수 있음을 보여준다.