[論文レビュー] Empirical study towards understanding line search approximations for training neural networks

Younghwan Chae, Daniël N. Wilke|arXiv (Cornell University)|Sep 15, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、ミニバッチサブサンプリングを用いた確率的ニューラルネットワーク学習における2次線形探索近似の性能を調査し、関数値と方向微分の有用性を比較する。方向微分情報、特に初期点における情報が、ステップサイズ予測の分散を低減するために関数値よりもはるかに重要であることが判明した。また、最小限で関連性の高い情報を選択的に使用する手法が、より包括的だが選択的でないデータの使用を上回ることが示された。

ABSTRACT

Choosing appropriate step sizes is critical for reducing the computational cost of training large-scale neural network models. Mini-batch sub-sampling (MBSS) is often employed for computational tractability. However, MBSS introduces a sampling error, that can manifest as a bias or variance in a line search. This is because MBSS can be performed statically, where the mini-batch is updated only when the search direction changes, or dynamically, where the mini-batch is updated every-time the function is evaluated. Static MBSS results in a smooth loss function along a search direction, reflecting low variance but large bias in the estimated "true" (or full batch) minimum. Conversely, dynamic MBSS results in a point-wise discontinuous function, with computable gradients using backpropagation, along a search direction, reflecting high variance but lower bias in the estimated "true" (or full batch) minimum. In this study, quadratic line search approximations are considered to study the quality of function and derivative information to construct approximations for dynamic MBSS loss functions. An empirical study is conducted where function and derivative information are enforced in various ways for the quadratic approximations. The results for various neural network problems show that being selective on what information is enforced helps to reduce the variance of predicted step sizes.

研究の動機と目的

• 動的ミニバッチサブサンプリング下での2次線形探索近似を構築するにあたり、関数値と方向微分の相対的価値を理解すること。
• 関数値と微分情報の異なる組み合わせが、確率的勾配降下法における予測ステップサイズの分散と精度に与える影響を評価すること。
• 複数の関数評価を用いることで性能が向上するのか、それとも選択的で最小限の情報（特に方向微分）の使用がより効果的なのかを特定すること。
• さまざまなニューラルネットワークアーキテクチャとデータセットにおいて、確率的最適化下でのさまざまな近似戦略のロバストネスを評価すること。

提案手法

• 探索方向に沿った異なるステップサイズにおける関数値と方向微分の組み合わせを用いて、5つの異なる1次元2次近似を構築する。
• 情報の取り入れ方を3通りに制御する：関数値のみ（f-f-f）、方向微分のみ（g-g）、および関数値をα₀とα₁で評価し、微分をα₀（fg-f）、α₁（f-fg）、または両方（fg-fg）で評価する混合構成。
• 正確な線形探索をベースラインとして比較し、ロジスティック回帰、MNIST、CIFAR-10、およびより深いネットワークを用いて性能を評価する。
• 収束速度、ステップサイズの分散、有効（正の）ステップサイズの割合を指標として性能を測定し、特に確率的設定における安定性と正確性に注目する。
• ステップサイズの符号変化を特定するために、確率的非負勾配射影（NN-GPP）フレームワークに近似を適用し、安定したステップサイズ推定を可能にする。
• 静的および動的ミニバッチサブサンプリング設定の両方で近似を評価し、不連続性が線形探索を複雑にする動的MBSSに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 動的ミニバッチサブサンプリング下で、関数値の使用と方向微分の使用が、予測ステップサイズの分散にどのように影響するか？
• RQ2 より多くの関数評価を用いることで線形探索近似の正確性が向上するのか、それともバイアスと不安定性が増すのか？
• RQ3 初期点における方向微分情報が、他の点と比較してステップサイズ分散の低減においてより有用であるか？
• RQ4 最小限で選択的な情報（例：初期点でのみ方向微分）の使用が、より包括的だが選択的でないデータ収集を上回るのか？
• RQ5 なぜ一部の近似（例：f-f-f、f-fg）はより多くのデータを用いても有効なステップサイズ（α < 0）を生成できないのか、一方で他の近似（例：fg-f、g-g）は安定しているのか？

主な発見

• 初期点における方向微分情報は、予測ステップサイズの分散を低減し、降下方向の一貫性を保証するために不可欠である。
• g-g近似（方向微分のみを用いる）とfg-f近似（α₀とα₁における関数値、α₀でのみ微分）が、その他のすべての構成と比較して安定性と収束性において優れている。
• 関数値のみに依存する近似（例：f-f-f、f-fg）は、特に小さなミニバッチ設定下で頻繁に無効なステップサイズ（α < 0）を生成する。これは2次多項式フィットにおける高いバイアスに起因する。
• fg-fg近似でさえ一部のケースで失敗する。これは近似構築の偏りに起因し、情報量が多いからといって品質が保証されるわけではないことを示している。
• 限られたデータでも、方向微分情報は単に多くの関数値を用いるよりも分散が低く、性能が優れている。
• g-gおよびfg-f近似は、収束面において正確な線形探索と同等の性能を達成しており、初期段階の進行はわずかに遅いが、時間経過とともにステップサイズ選択の改善が持続的に行われる。