[논문 리뷰] Online Learning Without Prior Information

Ashok Cutkosky, Kwabena Boahen|arXiv (Cornell University)|2017. 03. 07.

Advanced Bandit Algorithms Research참고 문헌 5인용 수 12

한 줄 요약

이 논문은 기울기 성장률과 최적 파라미터 노름에 대한 사전 정보 없이도 이를 적응하는 온라인 학습 알고리즘의 가족을 소개한다. $\tfrac{1}{2}$에 관련된 회귀 항을 고려한 새로운 하한선을 확립함으로써, 알고리즘은 상응하는 상한선을 달성하여, 적응형 온라인 최적화 분야에서 오랫동안 남아 있던 과제를 해결한다.

ABSTRACT

The vast majority of optimization and online learning algorithms today require some prior information about the data (often in the form of bounds on gradients or on the optimal parameter value). When this information is not available, these algorithms require laborious manual tuning of various hyperparameters, motivating the search for algorithms that can adapt to the data with no prior information. We describe a frontier of new lower bounds on the performance of such algorithms, reflecting a tradeoff between a term that depends on the optimal parameter value and a term that depends on the gradients' rate of growth. Further, we construct a family of algorithms whose performance matches any desired point on this frontier, which no previous algorithm reaches.

연구 동기 및 목표

• 기울기나 최적 파라미터 값에 대한 경계가 없는 경우 온라인 학습의 이론적 보장을 제공하지 못하는 문제를 해결한다.
• 알려지지 않은 데이터 특성으로 인해 수동으로 하이퍼파rameter를 조정해야 하는 기존 알고리즘의 한계를 극복한다.
• 기울기 성장률과 최적 파라미터 노름에 대해 알려지지 않은 상태에서도 적응 가능한 온라인 학습의 체계적인 프레임워크를 개발한다.
• T에 대한 로그 항과 기울기 성장률에 대한 지수적 페널티 간의 트레이드오프를 고려한, 온라인 학습의 정밀한 이론적 하한선을 설정한다.
• 이론적 경계선 상의 임의의 점과 정확히 일치하는 회귀 성능을 달성하는 알고리즘의 가족을 구축하여, 사전 가정 없이 최적 성능을 달성한다.

제안 방법

• 기울기 성장률에 따라 변화하는 $\|u\|L_{\max}\sqrt{T}\log(\|u\|T)$ 항과 지수적 페널티 $\exp(\max_t \sqrt{L_t/L_{t-1}})$ 간의 트레이드오프를 유도하기 위해, 적대적 손실 시퀀스를 구성함으로써 새로운 회귀 하한선을 유도한다.
• 하한선의 트레이드오프를 제어하기 위해 $k$와 $\gamma$를 매개변수로 사용하는 매개변수화된 경계선을 제안한다: 지수적 페널티를 $k$로 줄이면 $\sqrt{T}$ 항은 $k$ 배로 증가하고, 로그 항의 거듭제곱을 $\gamma$로 줄이면 지수적 페널티는 $\exp((L_t/L_{t-1})^{1/(2\gamma-1)})$로 증가한다.
• 관측된 기울기에 따라 학습률을 동적으로 조정하는 적응형 온라인 알고리즘의 가족을 제안하여, 임의의 $k$와 $\gamma$에 대해 유도된 하한선 경계선과 정확히 일치하는 회귀 성능을 달성한다.
• 온라인 볼록 최적화에서 온라인 선형 최적화로의 감소 기법을 적용하여, 하향 기울기로 손실를 선형화함으로써 선형 회귀 상한선를 분석할 수 있도록 한다.
• 누적 기울기 노름에 대한 재귀적 경계와 적응형 스텝 사이즈를 사용하는 새로운 분석 기법을 적용하며, 쌍대 노름과 하향 기울기 성질을 활용하여 회귀 성장률을 제어한다.
• 부등식과 수학적 귀납법을 활용하여 가중치가 부여된 제곱 기울기 합의 상한을 구하고, 이로써 회귀 성능이 유도된 경계선 내에 유지됨을 증명한다.

실험 결과

연구 질문

• RQ1 기울기나 최적 파라미터 값에 대한 사전 정보가 없는 경우, 온라인 학습에서 회귀의 본질적 한계는 무엇인가?
• RQ2 다양한 기울기 성장률과 파라미터 노름을 가진 알려지지 않은 데이터 행동에 대해, 하나의 알고리즘이 최적의 회귀 성능을 달성할 수 있는가?
• RQ3 기울기 성장률에 대한 사전 경계가 없는 상황에서, T에 대한 로그 항과 지수적 페널티 간의 트레이드오프는 무엇인가?
• RQ4 사전 수동 조정 없이도 이론적 회귀 경계선 상의 임의의 점과 정확히 일치하는 알고리즘의 가족을 구축할 수 있는가?
• RQ5 무한 차원 힐버트 공간에서, 직경 경계가 없이도 온라인 학습의 회귀 분석을 어떻게 확장할 수 있는가?

주요 결과

• 논문은 $\|u\|L_{\max}\sqrt{T}\log(\|u\|T)$와 $\exp(\max_t \sqrt{L_t/L_{t-1}})$ 간의 트레이드오프를 고려한 새로운 하한선 경계선을 확립하였으며, Cutkosky와 Boahen(2016)의 이전 지수적 페널티보다 향상된 결과를 도출한다.
• 임의의 $k > 0$에 대해, 지수적 페널티를 $\exp((L_t/L_{t-1})/k^2)$로 줄일 수 있으며, 이는 $\sqrt{T}$ 항이 $k$ 배로 증가하는 것으로 상쇄된다. 이로써 매끄러운 트레이드오프가 가능해진다.
• 임의의 $\gamma \in (1/2, 1]$에 대해, $\sqrt{T}$ 항의 로그 거듭제곱을 $\log^\gamma(\|u\|T)$로 줄일 수 있으며, 이는 지수적 페널티가 $\exp((L_t/L_{t-1})^{1/(2\gamma-1)})$로 증가함으로써 보상된다. 이는 민감한 적응성을 가능하게 한다.
• 제안된 알고리즘 가족은 이 경계선 상의 임의의 점과 정확히 일치하는 회귀 성능을 달성하며, 하한선이 날카롭고 최적임을 입증한다.
• 분석을 통해, 데이터의 성장 패턴을 완전히 알고 있더라도, 이론적으로 유도된 경계선을 초월한 더 나은 회귀 성능을 달성할 수 없다는 것이 입증되었으며, 이는 트레이드오프의 최적성과 일치함을 확인한다.