[논문 리뷰] A Generalized Online Mirror Descent with Applications to Classification and Regression

Francesco Orabona, Koby Crammer외 1명|arXiv (Cornell University)|2013. 04. 10.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 9

한 줄 요약

이 논문은 시간에 따라 변화하는 정규화 항과 기울기 기반 업데이트가 아닌 업데이트를 포함시켜 전통적인 온라인 미러 강하를 일반화한 프레임워크를 제안한다. 이는 일阶 및 이阶 온라인 학습 알고리즘을 통합하고, 개선된 리그레트 한계를 달성하며, 새로운 정규화 항 선택을 통해 특징 스케일링에 대한 불변성을 확보한다. 이를 통해 AROW 및 이阶 퍼셉트론과 같은 기존 알고리즘을 복원하고 개선한다.

ABSTRACT

Online learning algorithms are fast, memory-efficient, easy to implement, and applicable to many prediction problems, including classification, regression, and ranking. Several online algorithms were proposed in the past few decades, some based on additive updates, like the Perceptron, and some on multiplicative updates, like Winnow. A unifying perspective on the design and the analysis of online algorithms is provided by online mirror descent, a general prediction strategy from which most first-order algorithms can be obtained as special cases. We generalize online mirror descent to time-varying regularizers with generic updates. Unlike standard mirror descent, our more general formulation also captures second order algorithms, algorithms for composite losses and algorithms for adaptive filtering. Moreover, we recover, and sometimes improve, known regret bounds as special cases of our analysis using specific regularizers. Finally, we show the power of our approach by deriving a new second order algorithm with a regret bound invariant with respect to arbitrary rescalings of individual features.

연구 동기 및 목표

• 일阶 및 이阶 온라인 학습 알고리즘을 하나의 이론적 프레임워크로 통합하기 위해.
• 온라인 미러 강하를 시간에 따라 변화하는 정규화 항과 기울기 기반 업데이트가 아닌 업데이트를 허용하도록 확장하기 위해.
• 개별 특징의 임의의 스케일링에 대해 불변인 리그레트 한계를 유도하기 위해.
• AROW, Vovk-Azoury-Warmuth, 및 이阶 퍼셉트론과 같은 알려진 알고리즘을 복원하고 개선하기 위해.
• 복합 손실과 적응형 필터링에 적용 가능한 일반적인 분석 기법을 제공하여 특수한 증명 기법 없이도 가능하게 하기 위해.

제안 방법

• 시간에 따라 변화하는 정규화 항과 서브기울기 기반 업데이트가 아닌 업데이트를 사용하는 일반화된 온라인 미러 강하 알고리즘을 제안한다.
• 브레그만 산란과 볼록 쌍대성을 활용하여 리그레트를 분석하고, 온라인 볼록 최적화 프레임워크를 기반으로 한다.
• 입력 특징의 임의의 스케일링에 대해 리그레트 한계가 불변이 되도록 보장하는 새로운 정규화 항 선택을 도입한다.
• 이 프레임워크를 적용하여 이阶 알고리즘의 새로운 형태를 도출하고, 더 나은 이론적 보장을 확보한다.
• 이阶 방법에서 효율적인 계산을 가능하게 하기 위해 특징 상관 행렬의 대각선 요소에 대한 근사치를 사용한다.
• 쌍대 기반 분석을 활용하여 리그레트 한계를 유도하며, 손실의 서브기울기의 쌍대 노름을 포함한 한계도 포함한다.

실험 결과

연구 질문

• RQ1 온라인 미러 강하는 시간에 따라 변화하는 정규화 항과 기울기 기반 업데이트가 아닌 업데이트를 통합할 수 있는가?
• RQ2 그러한 일반화가 일阶 및 이阶 온라인 학습 알고리즘을 통합할 수 있는가?
• RQ3 이 프레임워크는 특징 스케일링에 대해 불변인 리그레트 한계를 도출할 수 있는가?
• RQ4 이 방법은 AROW 및 이阶 퍼셉트론과 같은 기존 알고리즘을 복원하고 개선할 수 있는가?
• RQ5 이 방법은 특수한 증명 기법 없이도 복합 손실 설정에 적용 가능한가?

주요 결과

• 일반화된 온라인 미러 강하 프레임워크는 AROW 및 이阶 퍼셉트론 알고리즘을 특수한 경우로 포함한다.
• 특정 정규화 항 선택을 통해 개별 특징의 임의의 스케일링에 대해 리그레트 한계가 불변임을 보장한다.
• AROW 및 이阶 퍼셉트론를 포함한 여러 알려진 알고리즘에 대해 향상된 리그레트 한계를 도출한다.
• 특징 상관 행렬의 대각선 요소만을 사용하는 이阶 알고리즘의 효율적인 변형을 가능하게 하며, 이는 이전 기법으로는 달성할 수 없었다.
• 특수한 증명 기법 없이도 복합 손실 설정에 적용 가능하며, 이는 이전 접근 방식을 향상시킨다.
• 동일한 가정 하에 기존의 한계를 유지하거나 초월하는 리그레트 한계를 갖는 새로운 이阶 알고리즘을 유도한다.