[논문 리뷰] Robust Frequent Directions with Application in Online Learning

Luo Luo, Cheng Chen외 3명|arXiv (Cornell University)|2017. 05. 15.

Advanced Optimization Algorithms Research인용 수 12

한 줄 요약

이 논문은 기존의 Frequent Directions (FD)의 랭크 결함 문제를 극복하기 위해 낮은 질량 근사와 정규화를 동시에 최적화하는 새로운 행렬 스케칭 방법인 Robust Frequent Directions (RFD)를 제안한다. RFD를 적응형 정규화를 가진 최적화 문제로 공식화함으로써, 더 날카운 스펙트럴-노름 오차 경계를 달성하고, 초깃값 설정이 필요 없는 온라인 뉴턴 알고리즘(RFD-SON)을 가능하게 하며, 이는 증명 가능한 리그레트 경계를 갖는다. 이로 인해 최신의 2차 온라인 학습 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The frequent directions (FD) technique is a deterministic approach for online sketching that has many applications in machine learning. The conventional FD is a heuristic procedure that often outputs rank deficient matrices. To overcome the rank deficiency problem, we propose a new sketching strategy called robust frequent directions (RFD) by introducing a regularization term. RFD can be derived from an optimization problem. It updates the sketch matrix and the regularization term adaptively and jointly. RFD reduces the approximation error of FD without increasing the computational cost. We also apply RFD to online learning and propose an effective hyperparameter-free online Newton algorithm. We derive a regret bound for our online Newton algorithm based on RFD, which guarantees the robustness of the algorithm. The experimental studies demonstrate that the proposed method outperforms state-of-the-art second order online learning algorithms.

연구 동기 및 목표

• 2차 온라인 학습에서 헤시안 행렬 근사치의 안정성을 해치는 기존 Frequent Directions (FD)의 랭크 결함 문제를 해결하기 위해.
• 스케칭 뉴턴 방법에서 수동으로 초깃값을 조정할 필요를 제거하기 위해, 스케칭 과정에 적응형 정규화를 통합함으로써.
• 최소한의 가정 하에 이론적으로 탄탄한 RFD 기반의 온라인 뉴턴 알고리즘을 개발하고, 증명 가능한 리그레트 경계를 확보하기 위해.
• 계산 비용을 증가시키지 않으면서도 FD보다 더 날카운 스펙트럴-노름 근사 오차를 달성하기 위해.

제안 방법

• RFD는 스케칭 행렬과 정규화 항을 동시에 업데이트함으로써 수치적 안정성을 유지하는 최적화 문제로 스케칭을 공식화한다.
• 정규화 항은 시간이 지남에 따라 점차 증가하며, 초기에는 0에서 시작하여 헤시안 근사치가 비특이적이고 잘 조절된 상태를 유지한다.
• 낮은 질량 근사와 정규화를 균형 있게 유지하는 폐쇄형 업데이트 규칙을 유도하여 스펙트럴-노름 오차를 최소화한다.
• RFD-SON은 RFD 스케칭을 사용하여 온라인 뉴턴 단계에서 헤시안 근사치를 계산하며, 명시적인 초깃값 선택을 피한다.
• 누적된 기울기 분산에 따라 동적으로 정규화 스케줄을 적용하여 수렴성을 보장한다.
• 이론적 분석을 통해 RFD-SON의 리그레트 경계가 기울기 노름이 유계일 경우 O(ln T)로 스케일링됨을 증명한다.

실험 결과

연구 질문

• RQ1 외부 정규화 없이도 낮은 질량 구조를 유지하면서 동시에 행렬의 가역성을 강제할 수 있는 스케칭 방법을 설계할 수 있는가?
• RQ2 행렬 스케칭에서 적응형 정규화가 기존의 표준 FD보다 더 날카운 스펙트럴-노름 근사 오차를 유도하는가?
• RQ3 이러한 스케칭 방법을 사용하여 이론적 수렴 보장을 갖는 초깃값 설정이 없는 온라인 뉴턴 알고리즘을 구성할 수 있는가?
• RQ4 헤시안과 기울기에 대한 최소한의 가정 하에, 결과적으로 도출된 온라인 학습 알고리즘의 리그레트 경계는 무엇인가?

주요 결과

• RFD는 계산 비용을 증가시키지 않으면서도 기존 FD보다 더 날카운 스펙트럴-노름 근사 오차를 달성한다.
• RFD-SON 알고리즘은 정규화 항이 학습 과정에서 자동으로 적응하기 때문에 초깃값 설정이 필요 없다.
• 기울기 노름이 유계일 경우 RFD-SON의 리그레트 경계는 O(ln T)이며, 이는 강력한 이론적 안정성을 나타낸다.
• 실험 결과 RFD-SON은 수렴 속도와 정확도 면에서 최신의 2차 온라인 학습 알고리즘을 모두 능가한다.
• 적응형 정규화 덕분에 헤시안이 원래는 랭크 결함을 띠는 경우에도 수치적 안정성이 유지된다.
• 이론적 분석을 통해 근사 오차가 유계이면서, 기울기 노름에 대한 온건한 가정 하에 알고리즘이 수렴함을 확인하였다.