[論文レビュー] Robust Frequent Directions with Application in Online Learning

Luo Luo, Cheng Chen+3 more|arXiv (Cornell University)|May 15, 2017

Advanced Optimization Algorithms Research被引用数 12

ひとこと要約

この論文では、従来の頻度方向法（FD）のランク不足を克服するために、低ランク近似と正則化を同時に最適化する新しい行列スケッチ手法であるロバスト頻度方向法（RFD）を提案する。RFDは適応的正則化を組み込んだ最適化問題として定式化され、スペクトルノルム誤差の tighter な境界を達成し、ハイパーパrameterフリーのオンラインニュートン法（RFD-SON）を可能にした。この手法は、証明可能なレグルトバウンドを備え、最先端の2次順序オンライン学習手法を上回る性能を発揮する。

ABSTRACT

The frequent directions (FD) technique is a deterministic approach for online sketching that has many applications in machine learning. The conventional FD is a heuristic procedure that often outputs rank deficient matrices. To overcome the rank deficiency problem, we propose a new sketching strategy called robust frequent directions (RFD) by introducing a regularization term. RFD can be derived from an optimization problem. It updates the sketch matrix and the regularization term adaptively and jointly. RFD reduces the approximation error of FD without increasing the computational cost. We also apply RFD to online learning and propose an effective hyperparameter-free online Newton algorithm. We derive a regret bound for our online Newton algorithm based on RFD, which guarantees the robustness of the algorithm. The experimental studies demonstrate that the proposed method outperforms state-of-the-art second order online learning algorithms.

研究の動機と目的

• 2次順序オンライン学習におけるヘッセ行列近似のロバスト性を損なう、従来の頻度方向法（FD）におけるランク不足問題を解消すること。
• スケッチされたニュートン法における手動によるハイパーパrameterチューニングの必要性をなくすために、正則化をスケッチプロセスに適応的に統合すること。
• 最小限の仮定の下で、証明可能なレグルトバウンドを持つ理論的裏付けのあるオンラインニュートンアルゴリズムをRFDに基づいて開発すること。
• 計算コストを増加させることなく、FDより tighter なスペクトルノルム近似誤差を達成すること。

提案手法

• RFDは、スケッチ行列と正則化項の両方を同時に更新することで、数値的安定性を維持する最適化問題としてスケッチを定式化する。
• 正則化項は時間とともに適応的に増加し、初期値はゼロから開始され、ヘッセ行列近似が非特異的かつ良好に条件付けられるように保証される。
• 低ランク近似と正則化のバランスを取る閉形式の更新ルールが導出され、スペクトルノルム誤差を最小化する。
• RFD-SONはRFDスケッチを用いてオンラインニュートンステップでヘッセ行列近似を計算し、明示的なハイパーパrameter選択を回避する。
• アルゴリズムは蓄積された勾配分散に応じて動的に正則化スケジュールを調整し、収束を保証する。
• 理論的分析により、勾配ノルムが有界である条件下でRFD-SONのレグルトバウンドがO(ln T)に比例することが示された。

実験結果

リサーチクエスチョン

• RQ1 外部正則化なしに、同時に低ランク構造を維持するとともに行列の逆行列可能性を強制するスケッチ手法を設計できるか？
• RQ2 行列スケッチにおける適応的正則化は、標準的なFDと比較して、より tight なスペクトルノルム近似誤差をもたらすか？
• RQ3 このようなスケッチ手法を用いて、理論的収束保証を持つハイパーパrameterフリーのオンラインニュートンアルゴリズムを構築できるか？
• RQ4 ヘッセ行列および勾配に関する最小限の仮定の下で、得られるオンライン学習アルゴリズムのレグルトバウンドは何か？

主な発見

• RFDは、計算コストを増加させることなく、従来のFDよりも tighter なスペクトルノルム近似誤差を達成する。
• RFD-SONアルゴリズムは、正則化項が学習中に自動的に適応されるため、ハイパーパrameterフリーである。
• 勾配ノルムが有界である場合、RFD-SONのレグルトバウンドはO(ln T)であることが示され、強力な理論的ロバスト性を示している。
• 実験結果では、収束速度と精度の両面で、RFD-SONが最先端の2次順序オンライン学習アルゴリズムを上回っている。
• 適応的正則化のおかげで、ヘッセ行列が本来ランク不足になる場合でも、数値的安定性が維持される。
• 理論的分析により、近似誤差が有界であり、勾配ノルムにやや厳しい仮定しか必要としない条件下でアルゴリズムが収束することが確認された。