[논문 리뷰] Optimal learning with Bernstein Online Aggregation

Olivier Wintenberger|arXiv (Cornell University)|2014. 04. 04.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 제곱 손실 하에서 모델 선택 집합 문제에 대해 편차에서 log(M)/n의 최적 빠른 수렴 속도를 달성하는 온라인 학습 알고리즘인 버니스타 온라인 집합(BOA)을 소개한다. 관측 가능한 두 번째 차수 위험 항목을 통한 이차 보정을 통해 고전적 지수 가중치의 한계를 극복하고, 배치 버전이 최적의 빠른 수렴 속도를 달성하는 첫 번째 온라인 절차가 되었으며, 완전히 적응형 버전은 log log n 요소를 제외하고 최적에 가까운 성능을 달성한다.

ABSTRACT

We introduce a new recursive aggregation procedure called Bernstein Online Aggregation (BOA). The exponential weights include an accuracy term and a second order term that is a proxy of the quadratic variation as in Hazan and Kale (2010). This second term stabilizes the procedure that is optimal in different senses. We first obtain optimal regret bounds in the deterministic context. Then, an adaptive version is the first exponential weights algorithm that exhibits a second order bound with excess losses that appears first in Gaillard et al. (2014). The second order bounds in the deterministic context are extended to a general stochastic context using the cumulative predictive risk. Such conversion provides the main result of the paper, an inequality of a novel type comparing the procedure with any deterministic aggregation procedure for an integrated criteria. Then we obtain an observable estimate of the excess of risk of the BOA procedure. To assert the optimality, we consider finally the iid case for strongly convex and Lipschitz continuous losses and we prove that the optimal rate of aggregation of Tsybakov (2003) is achieved. The batch version of the BOA procedure is then the first adaptive explicit algorithm that satisfies an optimal oracle inequality with high probability.

연구 동기 및 목표

• 제곱 손실 하에서 모델 선택 문제에 대해 편차에서 log(M)/n의 최적 빠른 수렴 속도를 달성하는 온라인 집합 절차를 개발하는 것.
• 고전적 지수 가중치가 빠른 수렴 속도를 달성하는 데에 비효율적인 이유를 밝히고, 이를 두 번째 차수 보정을 통해 해결하는 것.
• 기울기 범위에 대한 사전 지식 없이도 학습률을 자동으로 조정하는 완전히 적응형 절차를 설계하여 실용성을 향상시키는 것.
• 리프시츠 조건과 강凸 손실 함수를 만족하는 유한한 독립 동일분포 환경 하에서 표준 및 적응형 BOA 절차에 대한 이론적 보장을 수립하는 것.

제안 방법

• 누적 예측 위험 추정 기반의 누적 예측 위험 추정에 기반한 두 번째 차수 보정 항을 포함한 지수 가중치를 사용하는 재귀적 집합 절차인 버니스타 온라인 집합(BOA)을 제안한다.
• 어느 스토하스틱 환경에서나 관측 가능한 두 번째 차수 항목을 사용하여 누적 예측 위험을 추정하는 새로운 확률적 변환 기법을 도입한다.
• 영양 부등식과 '포issonnian' 부등식을 기반으로 한 두 번째 차수 경험 경계를 사용하여 예측 위험의 편차를 통제한다.
• 학습률 조정에 사용되는 온도 유사 매개변수 η를 사용하여 첫 번째 및 두 번째 차수 항을 균형 잡으며, 최적의 선택 η*는 빠른 수렴 속도를 보장한다.
• 기울기 범위를 사전에 알 수 없는 상황에서 적응형으로 작동하는 다중 학습률 버전의 BOA를 개발하여, log log n 요소를 제외하고는 최적에 가까운 성능을 달성한다.
• 유한한 기울기와 강凸 손실 함수를 가진 제곱 손실 설정에 이 방법을 적용하여 빠른 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 제곱 손실 하에서 모델 선택 문제에 대해 온라인 집합 절차가 편차에서 log(M)/n의 최적 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 고전적 지수 가중치가 이 빠른 수렴 속도를 달성하지 못하는 이유는 무엇이며, 두 번째 차수 보정은 이를 어떻게 해결하는가?
• RQ3 기울기 범위에 대한 사전 지식 없이도 학습률을 자동으로 조정하는 적응형 온라인 알고리즘을 설계할 수 있는가?
• RQ4 온라인 절차의 배치 버전이 최적의 빠른 수렴 속도를 달성할 수 있으며, 만약 가능하다면 어떤 조건에서 그러한 성능을 달성하는가?
• RQ5 관측 가능한 두 번째 차수 항은 스토하스틱이고 가능하면 탈선된 공변수 존재 하에서도 빠른 수렴 속도를 달성하는 데 어떤 기여를 하는가?

주요 결과

• BOA의 배치 버전은 제곱 손실 하에서 모델 선택 문제에 대해 편차에서 log(M)/n의 최적 빠른 수렴 속도를 달성한다.
• BOA에서 두 번째 차수 보정은 이 빠른 수렴 속도를 달성하는 데 필수적이며, 고전적 지수 가중치는 이를 달성할 수 없다.
• 적응형 BOA 절차는 최적 속도에서 log log n 요소를 제외하고는 최적에 가까운 수렴 속도를 달성하여 완전히 자동화되고 실용적이다.
• 온라인 BOA 절차의 예측 위험은 min_j R(f_j) + O((log M + x)/n) 형태의 고확률 경계를 만족함으로써 그 최적성의 확인이 이루어진다.
• 알고리즘의 계산 복잡도는 O(Mn)으로, 반복 최적화가 필요한 배치 절차보다 더 효율적이다.
• 이론적 분석은 온라인 위험과 배치 위험 간의 차이가 빠른 수렴 속도에 비해 무시할 만큼 작다는 것을 확인하여 온라인 절차의 최적성에 대한 지지를 받는다.