[논문 리뷰] A Drifting-Games Analysis for Online Learning and Applications to Boosting

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|2014. 06. 07.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 14

한 줄 요약

이 논문은 최소최대 분석을 통해 볼록 대체 손실을 활용하는 온라인 학습를 위한 새로운 드리프팅 게임 프레임워크를 제안하며, 헤지, 밴딧, 온라인 볼록 최적화 설정에서 새로운 매개변수 없는 알고리즘을 도출한다. 주요 기여는 많은 예제를 각 라운드에서 무시하면서도 AdaBoost에 비해 마진 및 오차 경계를 동일하거나 향상시키는 빠른 훈련을 가능하게 하는 새로운 적응형 부스팅 알고리즘 NH-Boost.DT를 제안하는 것이다.

ABSTRACT

We provide a general mechanism to design online learning algorithms based on a minimax analysis within a drifting-games framework. Different online learning settings (Hedge, multi-armed bandit problems and online convex optimization) are studied by converting into various kinds of drifting games. The original minimax analysis for drifting games is then used and generalized by applying a series of relaxations, starting from choosing a convex surrogate of the 0-1 loss function. With different choices of surrogates, we not only recover existing algorithms, but also propose new algorithms that are totally parameter-free and enjoy other useful properties. Moreover, our drifting-games framework naturally allows us to study high probability bounds without resorting to any concentration results, and also a generalized notion of regret that measures how good the algorithm is compared to all but the top small fraction of candidates. Finally, we translate our new Hedge algorithm into a new adaptive boosting algorithm that is computationally faster as shown in experiments, since it ignores a large number of examples on each round.

연구 동기 및 목표

• 드리프팅 게임 프레임워크 내에서 최소최대 분석을 활용하여 온라인 학습 알고리즘을 설계하는 일반적인 방법론을 개발하는 것.
• 기존의 온라인 학습 설정—헤지, 다항 보상 밴딧, 온라인 볼록 최적화—을 동일한 드리프팅 게임 공식화 아래 통합하고 일반화하는 것.
• 집중 불등식에 의존하지 않고도 적응형 리그레트와 고확률 경계를 갖는 새로운 매개변수 없는 알고리즘을 유도하는 것.
• 유도된 헤지 알고리즘을 효율적이고 적응형 부스팅 알고리즘으로 번역하여, 낮은 마진을 가진 예제를 무시하는 것.
• 실험을 통해 계산 효율성과 향상된 일반화 성질을 입증하는 것.

제안 방법

• 다양한 학습 설정을 모델링하기 위해 온라인 학습 문제를 드리프팅 게임의 변형(DGv1, DGv2, DGv3)으로 변환하는 것.
• 0-1 손실 함수로부터 시작하여 드리프팅 게임 프레임워크에 최소최대 분석을 적용하는 것.
• 해결 가능성을 높이기 위해 볼록 대체 함수(예: 지수, 이차, 정규)를 사용해 0-1 손실을 완화하는 것.
• 잠재 함수와 완화 기법을 사용하여 헤지 알고리즘의 일반적인 조리법(알고리즘 3)을 도출하는 것.
• 모든 후보 중 상위 ε 분율을 제외한 성능을 측정하는 ε-리그레트 개념을 일반화하는 것.
• 예제를 행동으로 간주하고 가중 다수결 투표를 사용하여 유도된 헤지 알고리즘을 부스팅 알고리즘(NH-Boost.DT)으로 변환하는 것.

실험 결과

연구 질문

• RQ1 통합된 드리프팅 게임 프레임워크를 사용하여 다양한 설정에서 온라인 학습 알고리즘을 유도하고 분석할 수 있는가?
• RQ2 볼록 대체 손실을 어떻게 활용하여 드리프팅 게임 내 최소최대 분석을 완화하여 실용적이고 매개변수 없는 알고리즘을 도출할 수 있는가?
• RQ3 집중 불등식에 의존하지 않고도 이 프레임워크가 자연스럽게 고확률 리그레트 경계를 지원할 수 있는가?
• RQ4 일반화된 ε-리그레트 개념이 온라인 학습과 부스팅 설정 전반에 걸쳐 일관되게 적용될 수 있는가?
• RQ5 유도된 부스팅 알고리즘 NH-Boost.DT는 높은 마진을 가진 예제를 무시함으로써 더 빠른 훈련을 달성할 수 있으며, 일반화 성능을 유지하거나 향상시키는가?

주요 결과

• 제안된 프레임워크는 기존의 EXP3 및 연속적 EXP와 같은 방법을 일반화하는 헤지, 밴딧, 온라인 볼록 최적화를 위한 새로운 매개변수 없는 알고리즘을 도출한다.
• 프레임워크를 통해 도출된 NormalHedge.DT 알고리즘은 액션 수에 의존하지 않고도 모든 ε 및 시간 길이에 대해 ε-리그레트 경계를 同시로 달성한다.
• 집중 불등식에 의존하지 않고도 드리프팅 게임의 최소최대 구조에 기반하여 고확률 리그레트 경계를 도출한다.
• 새로운 부스팅 알고리즘 NH-Boost.DT는 순서 Õ(exp(−1/3 Tγ²))의 훈련 오차와 AdaBoost를 초월하는 마진 분포 경계를 달성하며, 최적의 마진 2γ로 수렴한다.
• 실험 결과 NH-Boost.DT는 많은 예제를 각 라운드에서 0으로 가중치를 할당함으로써 AdaBoost 및 NH-Boost보다 훨씬 빠른 속도를 보이며, 계산 부담을 줄인다.
• NH-Boost.DT에서는 0으로 가중치가 할당된 예제의 비율이 상당히 높아, 낮은 마진을 가진 예제를 효율적으로 건너뛸 수 있음을 확인한다.