[논문 리뷰] Improved Optimistic Mirror Descent for Sparsity and Curvature

Parameswaran Kamalaruban|arXiv (Cornell University)|2016. 09. 08.

Advanced Vision and Imaging참고 문헌 10인용 수 3

한 줄 요약

이 논문은 손실 함수의 희소성, 예측 가능성, 곡률을 동시에 활용하여 온라인 볼록 최적화의 리그레트 한계를 향상시키는 적응형이고 낙관적인 미러 강하 알고리즘을 제안한다. 데이터에 의존하는 정규화 항과 낙관적인 기울기 예측을 통합함으로써, 이전 연구 대비 √2의 개선을 달성하고 강건성 파rameter에 대한 사전 지식 없이도 곡률에 적응하며, 비연속 정규화 항을 가진 복합 손실 함수로 확장된다.

ABSTRACT

Online Convex Optimization plays a key role in large scale machine learning. Early approaches to this problem were conservative, in which the main focus was protection against the worst case scenario. But recently several algorithms have been developed for tightening the regret bounds in easy data instances such as sparsity, predictable sequences, and curved losses. In this work we unify some of these existing techniques to obtain new update rules for the cases when these easy instances occur together. First we analyse an adaptive and optimistic update rule which achieves tighter regret bound when the loss sequence is sparse and predictable. Then we explain an update rule that dynamically adapts to the curvature of the loss function and utilizes the predictable nature of the loss sequence as well. Finally we extend these results to composite losses.

연구 동기 및 목표

• 희소성, 예측 가능성, 곡률을 동시에 고려하는 온라인 학습 알고리즘을 개발한다.
• 적응형 및 낙관적 미러 강하 기법을 통합하여 기존 방법보다 더 날카운 리그레트 한계를 달성한다.
• 비연속 정규화 항이 포함된 복합 손실 함수로 알고리즘을 확장한다.
• 강건성 파rameter에 대한 사전 지식 없이도 곡률 하에서 로그 리그레트 한계를 유지한다.
• 모든 시간 단계에서 유효한 리그레트 분석을 제공하여 실무에서의 강건성과 적응성을 확보한다.

제안 방법

• 데이터에 의존하는 정규화 항과 예측된 기울기를 사용하여 리그레트 한계를 향상시키는 적응형이고 낙관적인 미러 강하 업데이트 규칙을 도입한다.
• 시간에 따라 변화하는 정규화 항과 Bregman 발산을 활용하여 강건성과 기울기 희소성에 적응한다.
• 미래 기울기 예측 ˜gt+1을 통합하여 예측 가능한 손실 시퀀스에서 리그레트를 감소시킨다.
• 누적 차이 ∥gt − ˜gt∥∗를 기반으로 동적 학습률 전략을 적용하여 O(√T)와 O(log T) 리그레트 영역 사이를 동적으로 보간한다.
• 선형화 없이도 비연속 정규화 항 ψt를 업데이트 규칙에 유지함으로써 복합 손실로의 확장을 달성한다.
• 강건성과 Bregman 발산 성질을 활용한 수정된 FTRL 스타일 분석을 적용하여 날카운 리그레트 한계를 유도한다.

실험 결과

연구 질문

• RQ1 손실 시퀀스에서 희소성과 예측 가능성을 동시에 고려하는 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 적응형 정규화와 낙관적 기울기 예측을 통합함으로써 미러 강하의 리그레트 한계를 어떻게 향상시킬 수 있는가?
• RQ3 강건성 파rameter를 사전에 알지 못해도 곡률이 있는 손실에 대해 로그 리그레트 한계를 달성할 수 있는가?
• RQ4 비연속 정규화 항을 가진 복합 목표 함수로 낙관적 미러 강하를 어떻게 확장할 수 있는가?
• RQ5 희소성, 예측 가능성, 곡률이 동시에 발생할 때 도달 가능한 가장 날카운 리그레트 한계는 무엇인가?

주요 결과

• 제안된 적응형이고 낙관적인 미러 강하 알고리즘은 희소성과 예측 가능성의 경우 기존 연구 대비 √2의 개선을 보이며, 리그레트 한계가 O(√(∑∥gt − ˜gt∥²∗))에 도달한다.
• 강건성 있는 손실에 대해, 강건성 파ram터에 대한 사전 지식 없이도 O(log(∑∥gt − ˜gt∥²∗))의 리그레트 한계를 달성한다.
• 알고리즘은 손실 함수의 곡률에 따라 O(√T)와 O(log T) 리그레트 영역 사이를 동적으로 보간한다.
• 복합 손실 형태의 알고리즘에 대해 리그레트 한계는 비복합 사례와 동일하며, 모든 개선 사항을 유지한다.
• 알고리즘은 모든 시간 단계에서 리그레트 보장을 유지하여 온라인 학습 시스템의 실무적 구현을 가능하게 한다.
• 이론적 분석은 βt-강건성 손실로까지 확장되지만, 이 경우 학습률에 대한 닫힌 형태의 해는 제공되지 않는다.