[논문 리뷰] Fully Implicit Online Learning

Chaobing Song, Ji Liu외 3명|arXiv (Cornell University)|2018. 09. 25.

Machine Learning and Algorithms참고 문헌 21인용 수 6

한 줄 요약

이 논문은 임의의 Bregman 발산을 사용하여 손실 함수와 정규화 항에 대해 정확한 최소화(암시적 업데이트)를 수행하는 새로운 온라인 학습 프레임워크인 완전 암시적 온라인 학습(FIOL)을 제안한다. 볼록 설정에서는 $O(\sqrt{T})$의 손해를, 강한 볼록 설정에서는 $O(\log T)$의 손해를 달성하며, 선형화 오차를 피하므로 한 스텝의 개선 효과가 있으며, 선형화 방법과 유사한 복잡도로 비트리비얼한 하위문제를 효율적으로 해결하는 알고리즘을 제공한다.

ABSTRACT

Regularized online learning is widely used in machine learning applications. In online learning, performing exact minimization ($i.e.,$ implicit update) is known to be beneficial to the numerical stability and structure of solution. In this paper we study a class of regularized online algorithms without linearizing the loss function or the regularizer, which we call \emph{fully implicit online learning} (FIOL). We show that for arbitrary Bregman divergence, FIOL has the $O(\sqrt{T})$ regret for general convex setting and $O(\log T)$ regret for strongly convex setting, and the regret has an one-step improvement effect because it avoids the approximation error of linearization. Then we propose efficient algorithms to solve the subproblem of FIOL. We show that even if the solution of the subproblem has no closed form, it can be solved with complexity comparable to the linearized online algoritms. Experiments validate the proposed approaches.

연구 동기 및 목표

• OGD와 같은 선형화된 온라인 학습 방법의 한계, 즉 수치적 불안정성과 정규화 항의 구조를 제대로 활용하지 못하는 문제를 해결하기 위해.
• 손실과 정규화 항에 모두 암시적 업데이트를 수행하는 통합된 이론적 프레임워크를 개발하여 선형화 오차를 피하기 위해.
• FIOL에서 발생하는 암시적 하위문제를 해결하기 위한 효율적인 계산 알고리즘을 제공하기 위해, 특히 $\ell_1$-정규화 문제에 초점하여.
• 손실과 정규화 항에 모두 암시적 업데이트를 적용할 경우, 명시적 또는 부분적으로 암시적인 방법에 비해 향상된 손해 경계와 더 나은 수치적 안정성을 달성할 수 있음을 보여주기 위해.

제안 방법

• 손실 함수와 정규화 항을 각 반복에서 Bregman 발산을 정규화 항으로 사용하여 정확히 최소화하는 완전 암시적 온라인 학습(FIOL)을 제안한다.
• 일반적인 Bregman 발산 $B_\psi(\mathbf{w}, \mathbf{w}_t)$를 사용하여 업데이트를 정의함으로써, 유클리드나 마할라노비스 거리 외의 유연한 거리 척도를 가능하게 한다.
• 일반 볼록 함수에 대해 $O(\sqrt{T})$의 손해 경계, 강한 볼록 함수에 대해 $O\left(\log T\right)$의 손해 경계를 유도하며, 선형화 오차를 통해 한 스텝의 개선 효과를 정량화한다.
• 일반적인 ERM 문제의 하위문제를 $\epsilon$-정확도로 풀기 위해 이분법을 사용한 알고리즘을 개발하며, 시간 복잡도는 $O\left(d\log \frac{1}{\epsilon}\right)$이다.
• $\ell_1$-정규화된 하위문제를 정확히 풀기 위해 결정적 $O(d\log d)$ 및 랜덤화된 $O(d)$ 기대 시간 알고리즘을 제안한다.
• SGD, COMID, I-SGD, PA와의 비교를 위한 공통 프레임워크를 활용하여, 다양한 데이터 상관관계와 노이즈 수준에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 손실과 정규화 항에 모두 암시적 업데이트를 적용할 경우, 선형화 또는 부분적으로 암시적인 방법에 비해 향상된 손해 경계를 달성할 수 있는가?
• RQ2 FIOL에서 임의의 Bregman 발산을 사용할 경우, 이론적 보장을 유지하면서도 더 높은 유연성과 수치적 안정성을 확보할 수 있는가?
• RQ3 특히 $\ell_1$-정규화 문제에 대해, 비트리비얼한 하위문제를 효율적이고 확장 가능한 방식으로 해결할 수 있는 알고리즘을 설계할 수 있는가?
• RQ4 다양한 데이터 상관관계와 노이즈 조건 하에서, 기존 온라인 학습 방법에 비해 FIOL의 실용적 성능은 어떠한가?

주요 결과

• FIOL은 일반 볼록 함수에 대해 $O(\sqrt{T})$의 손해를, 강한 볼록 함수에 대해 $O(\log T)$의 손해를 달성하며, 선형화의 근사 오차를 통해 한 스텝의 개선 효과가 정량화된다.
• 제안된 이분법은 일반적인 ERM 하위문제를 $\epsilon$-정확도로 $O\left(d\log \frac{1}{\epsilon}\right)$ 시간 내에 해결하며, 선형화 방법과 유사한 복잡도를 가진다.
• $\ell_1$-정규화 문제의 경우, 결정적 알고리즘은 $O(d\log d)$ 시간 내에 하위문제를 해결하고, 랜덤화된 알고리즘은 $O(d)$ 기대 시간 내에 해결한다.
• 실험 결과, FIOL 기반 알고리즘(알고리즘 2 및 3)은 특성 간 상관관계에 대해 강건하며, 스파arsity를 효과적으로 유도하며, 안정성과 스파arsity 측면에서 SGD와 COMID를 능가한다.
• 동일한 실행 시간 내에서, 암시적 손실 업데이트로 인해 더 큰 효과적 학습률을 확보함으로써, I-SGD보다 더 큰 목적 함수 감소를 달성한다.
• 제안된 알고리즘은 손실과 정규화 항을 모두 암시적으로 업데이트하는 완전 암시적 온라인 학습 문제를 효율적으로 해결하는 데 있어 최초의 알고리즘이다.