[論文レビュー] Adaptive scale-invariant online algorithms for learning linear models

Michał Kempka, Wojciech Kotłowski+1 more|arXiv (Cornell University)|Feb 20, 2019

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿では、特徴量のスケールに依存しないオンライン学習アルゴリズムを線形モデルに対して提案し、最適に調整された次元ごとの学習率を用いたオンライン勾配降下法（OGD）と同等のレグレットバウンドを達成するが、ハイパーパramータのチューニングを一切不要としている。アルゴリズムは任意の特徴量スケーリングに対して不変であり、1反復あたりO(d)の実行時間を維持する。

ABSTRACT

We consider online learning with linear models, where the algorithm predicts on sequentially revealed instances (feature vectors), and is compared against the best linear function (comparator) in hindsight. Popular algorithms in this framework, such as Online Gradient Descent (OGD), have parameters (learning rates), which ideally should be tuned based on the scales of the features and the optimal comparator, but these quantities only become available at the end of the learning process. In this paper, we resolve the tuning problem by proposing online algorithms making predictions which are invariant under arbitrary rescaling of the features. The algorithms have no parameters to tune, do not require any prior knowledge on the scale of the instances or the comparator, and achieve regret bounds matching (up to a logarithmic factor) that of OGD with optimally tuned separate learning rates per dimension, while retaining comparable runtime performance.

研究の動機と目的

• 特徴量のスケールが異なるとオンライン線形学習の性能が著しく低下する問題に取り組み、重み更新における単位の不一致が標準的なオンライン勾配降下法（OGD）の性能を損なうことを解消する。
• 特徴量の正規化や特徴量スケール、コンパレータノルムに関するオラクル知識を事前に必要としない。
• 個々の特徴量のスケーリングに対して不変であり、予測結果が特徴量の単位に依存しないパラメータフリーのオンラインアルゴリズムを設計する。
• 後向きに最適にチューニングされた次元ごとの学習率を用いたOGDの最適レグレットバウンドに、対数要因を除いて一致するレグレットバウンドを達成する。
• 標準的なOGDと同等のO(d)の反復あたりの計算効率を維持する。

提案手法

• 各重みを次元ごとに独立して更新する座標単位の更新ルールを開発し、局所的な勾配の大きさとコンパレータノルムに適応した学習率を用いる。
• EGU±（Kivinen & Warmuth, 1997）にインspiredされたポテンシャル関数に基づく解析を導入し、対数障壁関数を用いてスケール不変性を保証する。
• ScInOL 1 および ScInOL 2 の2つのアルゴリズムを設計し、ScInOL 2 は収束を改善するより積極的な更新ルールを採用する。
• 各次元の適応により、個々の特徴量のスケールに依存しない更新を実現することでスケール不変性を確保する。
• リプシッツ連続な損失関数（例：ロジスティック損失、ハッチン損失、絶対損失）を用い、勾配が特徴量ベクトルに比例して有界であることを保証する。
• 新たなポテンシャル関数を用いてレグレットを解析し、予測誤差とコンパレータノルムのトレードオフを捉えることで、タイトなバウンドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 個々の特徴量のスケーリングに対して不変であり、特徴量スケールやコンパレータノルムに関する事前知識がなくても、オンライン学習アルゴリズムを設計できるか？
• RQ2 ハイパーパramータチューニングを一切行わず、最適にチューニングされた次元ごとの学習率を用いたOGDと同等のレグレットバウンドを達成することは可能か？
• RQ3 スケール不変性を保ちつつ、特徴量スケールの変動に対してロバストで、計算効率（1反復あたりO(d)）を維持できるか？
• RQ4 実際の応用において、Adam や AdaGrad、手動でチューニングされた学習率を用いたSGDといった標準的手法と比較して、スケール不変アルゴリズムはどのように性能を発揮するか？
• RQ5 提案されたフレームワークを深層学習モデルに拡張することで、内部共変量シフトの緩和とバッチ正規化への依存度の低下を達成できるか？

主な発見

• 提案されたアルゴリズムであるScInOL 1 および ScInOL 2 は、後向きに最適にチューニングされた次元ごとの学習率を用いたOGDの最適レグレットバウンドに、対数要因を除いて一致する。
• ScInOL 2 は、より積極的な更新ルールのおかげで、すべてのテストデータセットでScInOL 1 を上回り、収束性と安定性の両面で優れた性能を示した。
• SGD、AdaGrad、Adam、NAGと比較して、アルゴリズムはランの間で著しく低い分散を示した。これらの手法は手動でチューニングされた学習率を必要としており、高い不安定性を示していた。
• MNIST、Covertype、Censusといったベンチマークデータセットにおいて、ScInOL 2 および CoCoB が交差エントロピー損失と正答率の両面で最高のテストセット性能を達成した。
• Alg1-K17（先行のスケール不変手法）は、その慎重な更新ポリシーのため、特にMNISTでは収束が遅かった。
• アルゴリズムは完全にパラメータフリーであり、事前の正規化や特徴量スケールの知識を一切必要としないため、実世界のオンライン環境への導入が容易でロバストである。