[논문 리뷰] Online Agnostic Boosting via Regret Minimization

Nataly Brukhim, Xinyi Chen외 2명|arXiv (Cornell University)|2020. 03. 02.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 4

한 줄 요약

이 논문은 하위선형의 회귀를 가진 약한 온라인 학습기에서 퇴적되지 않는 회귀를 가진 강력한 학습기로의 첫 번째 온라인 무관심 부스팅 알고리즘을 제안한다. 부스팅 문제를 온라인 볼록 최적화(OCO)로 환원함으로써, 온라인 및 통계적 학습의 무관심 및 실현 가능한 설정을 통합하며, 회귀 최소화를 통해 거의 최적의 상관관계 한계를 달성한다.

ABSTRACT

Boosting is a widely used machine learning approach based on the idea of aggregating weak learning rules. While in statistical learning numerous boosting methods exist both in the realizable and agnostic settings, in online learning they exist only in the realizable case. In this work we provide the first agnostic online boosting algorithm; that is, given a weak learner with only marginally-better-than-trivial regret guarantees, our algorithm boosts it to a strong learner with sublinear regret. Our algorithm is based on an abstract (and simple) reduction to online convex optimization, which efficiently converts an arbitrary online convex optimizer to an online booster. Moreover, this reduction extends to the statistical as well as the online realizable settings, thus unifying the 4 cases of statistical/online and agnostic/realizable boosting.

연구 동기 및 목표

• 이전 방법이 실현 가능한(오류 제한) 설정에 국한되어 있었기 때문에, 온라인 학습의 격차를 메우기 위해 첫 번째 무관심 온라인 부스팅 알고리즘을 개발하는 것.
• 통계적/온라인 및 무관심/실현 가능한 설정의 네 가지 학습 철학을 하나의 환원 프레임워크로 통합하는 것.
• 이전에 알려진 실현 가능한 케이스 환원을 무관심 케이스로 확장함으로써, 비밀성 보장 학습에서 온라인 학습으로의 효율적 환원을 가능하게 하는 것.
• 적대적 시퀀스가 흔하고 강력한 학습기가 필수적인 온라인 제어 및 시계열 예측 응용 분야를 지원하는 것.

제안 방법

• 알고리즘은 온라인 부스팅을 온라인 볼록 최적화(OCO)로 환원하며, 약한 학습기 예측의 볼록 조합을 사용하고, OCO를 통해 가중치를 학습한다.
• 약한 학습기의 과거 성능에 기반해 동적으로 N개의 약한 학습기 가중치를 조정하기 위해 회귀 최소화 OCO 알고리즘을 사용한다.
• 약한 학습기는 적어도 임의의 시퀀스에 대해 평균 상관관계 기여도가 약간 더 높은, 하위선형의 회귀 보장을 가진다고 가정한다.
• 최종 예측은 약한 학습기 출력의 정규화된 평균이며, 유효한 이진 예측을 보장하기 위해 ±1로 투영된다.
• 손실 함수와 레이블 재표기 전략을 조정함으로써, 이 방법은 무관심 및 실현 가능한 설정 모두에 적용된다.
• 이 프레임워크는 하위선형의 회귀를 갖는 임의의 OCO 알고리즘을 적용할 수 있어, 다양한 최적화 구성 요소를 모듈러하게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 약한 온라인 학습기의 하위선형의 회귀가 무관심 온라인 설정에서 퇴적되지 않는 회귀를 갖는 강력한 학습기로 부스팅될 수 있는가?
• RQ2 단일 부스팅 프레임워크를 통해 무관심 및 실현 가능한 설정에서 온라인 및 통계적 학습을 통합할 수 있는가?
• RQ3 무관심 온라인 부스팅을 사용해, 비밀성 보장 학습에서 온라인 학습으로의 환원을 실현 가능한 케이스를 넘어서 확장할 수 있는가?
• RQ4 온라인 무관심 부스팅에서 약한 학습기의 수와 회귀 한계 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 약한 학습기의 이점 매개변수 γ와 OCO의 회귀에 따라 부스팅된 학습기의 성능은 어떻게 스케일링되는가?

주요 결과

• 제안된 온라인 무관심 부스팅 알고리즘은 높은 확률로 최소 $1 - O(1/(γ\sqrt{T}))$의 상관관계를 달성하며, T가 증가함에 따라 완벽한 상관관계에 가까워진다.
• 알고리즘은 문제를 온라인 볼록 최적화로 환원함으로써, 하위선형의 회귀를 갖는 임의의 OCO 알고리즘을 사용해 강력한 일반화 성능을 달성할 수 있다.
• 이 방법은 통계적/온라인 및 무관심/실현 가능한 설정의 네 가지 조합을 하나의 추상적 환원 프레임워크 아래 통합한다.
• 실현 가능한 설정에서는 최소 $1 - \tilde{O}(R_{\mathcal{W}}(T)/(\gamma T) + R_{\mathcal{A}}(N)/N)$의 상관관계를 달성하며, T와 N이 증가함에 따라 1에 수렴한다.
• 이 프레임워크는 비밀성 보장 학습에서 온라인 학습으로의 효율적 환원을 가능하게 하며, 이전 연구에서 실현 가능한 케이스에 국한되어 있던 결과를 확장한다.
• 이론적 분석은 약한 학습기가 랜덤 추측보다 상수 수준의 이점만을 가지더라도, 강력한 학습기의 회귀가 T에 대해 하위선형임을 보여준다.