[論文レビュー] Almost Tune-Free Variance Reduction

Bingcong Li, Lingda Wang+1 more|arXiv (Cornell University)|Aug 25, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、Barzilai-Borwein (BB) ステップサイズ、新規の平均化手法、および BB ステップサイズの逆数に比例してスケーリングされる適応的内ループ長を統合することで、SVRG および SARAH のほぼチューニング不要な変種を提案する。この手法は最小限のハイパーパramータチューニングで線形収束を達成し、実世界のデータセットにおいてチューニング済みベースラインを上回り、ステップサイズやループ長のグリッドサーチなしで頑健性を示す。

ABSTRACT

The variance reduction class of algorithms including the representative ones, SVRG and SARAH, have well documented merits for empirical risk minimization problems. However, they require grid search to tune parameters (step size and the number of iterations per inner loop) for optimal performance. This work introduces `almost tune-free' SVRG and SARAH schemes equipped with i) Barzilai-Borwein (BB) step sizes; ii) averaging; and, iii) the inner loop length adjusted to the BB step sizes. In particular, SVRG, SARAH, and their BB variants are first reexamined through an `estimate sequence' lens to enable new averaging methods that tighten their convergence rates theoretically, and improve their performance empirically when the step size or the inner loop length is chosen large. Then a simple yet effective means to adjust the number of iterations per inner loop is developed to enhance the merits of the proposed averaging schemes and BB step sizes. Numerical tests corroborate the proposed methods.

研究の動機と目的

• SVRG や SARAH のようなバリアンス低減アルゴリズムにおけるハイパーパramータチューニング、特にステップサイズおよび内ループ長の重要な課題に対処すること。
• 収束速度を維持または向上させながら、手動チューニングを最小限に抑えた実用的で頑健な最適化フレームワークを開発すること。
• BB ステップサイズと適応的内ループ長、および新規平均化手法の組み合わせが、ほぼチューニング不要な性能をもたらすことを理論的および実験的に検証すること。
• 推定列を用いた統一的理論枠組みを確立し、新規平均化手法を用いた SVRG および SARAH のためのより緊密な収束レートを導出すること。
• 単純なパrameter選択（例：c=1, θκ=κ）が、発散を伴わずに安定かつ高性能なアルゴリズムを実現するかを示すこと。

提案手法

• 反復毎に自動的に学習率を適応させる Barzilai-Borwein (BB) ステップサイズを導入し、手動チューニングの必要性を排除する。
• 推定列フレームワークに基づく新規の平均化手法—特に重み付き平均化 (W-Avg)—を提案し、収束性と安定性を向上させる。
• 内ループ長 $ m^s $ を $ m^s = c / (\mu \eta^s) $ として動的に調整し、ステップサイズの大きさに関わらず収束を保証する。
• 理論的推定列の視点を用いて SVRG および SARAH の収束レートを再導出し、より緊密な境界と改善された平均化戦略を可能にする。
• $ \theta_\kappa = \kappa $ および $ c = 1 $ をデフォルトパラメータとして採用し、これらは実験的に安定でチューニング不要であり、「ほぼチューニング不要」な動作を実現する。
• 提案された BB-SVRG および BB-SARAH アルゴリズムを、実データセットにおける正則化ロジスティック回帰に適用し、SGD、チューニング済み SVRG、U-Avg を用いた SARAH と比較する。

実験結果

リサーチクエスチョン

• RQ1 Barzilai-Borwein ステップサイズは、バリアンス低減アルゴリズムと効果的に組み合わせられ、手動ハイパーパramータチューニングの必要性を低減または排除できるか？
• RQ2 推定列フレームワークを用いて平均化手法を再定義することで、二重ループアルゴリズムにおける収束速度と実験的性能を向上させられるか？
• RQ3 BB を用いた SVRG および SARAH において、内ループ長とステップサイズとの最適な関係は何か？収束性と安定性を保証するには？
• RQ4 単純で固定されたパラメータ選択（例：$ c=1 $, $ \theta_\kappa = \kappa $）が、多様なデータセットにわたり発散を伴わずに頑健な性能を発揮できるか？
• RQ5 提案手法は、ステップサイズやループ長のグリッドサーチを必要とせず、チューニング済みベースラインと同等またはそれ以上の性能を達成できるか？

主な発見

• BB-SARAH は、a9a データセットにおいてチューニング済み SARAH を上回る実験的性能を示し、ハイパーパramータチューニングなしで優れた性能を発揮する。
• a9a データセットにおいて、BB-SVRG は約 40 エポックの走行後、チューニング済み SVRG と同等の性能を達成し、優れた収束安定性を示す。
• rcv1 および real-sim データセットでは、BB-SARAH および BB-SVRG がチューニング済みの対応する手法と同等またはわずかに優れた性能を示し、一貫した頑健性を確認する。
• 実験的に $ c=1 $ および $ \theta_\kappa = \kappa $ を用いた本手法は、数値実験で発散を示さず、理論的緩和がわずかであっても実用的頑健性を裏付ける。
• BB ステップサイズ、適応的内ループ長、および W-Avg の組み合わせにより、最小限のチューニングで線形収束が達成され、実際には「ほぼチューニング不要」な動作を実現する。