[論文レビュー] Efficient Optimization of Loops and Limits with Randomized Telescoping Sums

Alex Beatson, Ryan P. Adams|arXiv (Cornell University)|May 16, 2019

Model Reduction and Neural Networks被引用数 10

ひとこと要約

本稿では、目的関数をテレスコピック級数として表現し、項の重み付き組み合わせをサンプリングすることで、ループや極限を含む最適化問題における安価で不偏な勾配推定を可能にするランダム化テレスコピック勾配推定器（RT）を提案する。主な貢献は、ループ長や近似精度に依存しない理論的収束保証であり、適応的RT推定器は計算単位あたりの期待改善を最大化することで、より高速な最適化を実現する。

ABSTRACT

We consider optimization problems in which the objective requires an inner loop with many steps or is the limit of a sequence of increasingly costly approximations. Meta-learning, training recurrent neural networks, and optimization of the solutions to differential equations are all examples of optimization problems with this character. In such problems, it can be expensive to compute the objective function value and its gradient, but truncating the loop or using less accurate approximations can induce biases that damage the overall solution. We propose randomized telescope (RT) gradient estimators, which represent the objective as the sum of a telescoping series and sample linear combinations of terms to provide cheap unbiased gradient estimates. We identify conditions under which RT estimators achieve optimization convergence rates independent of the length of the loop or the required accuracy of the approximation. We also derive a method for tuning RT estimators online to maximize a lower bound on the expected decrease in loss per unit of computation. We evaluate our adaptive RT estimators on a range of applications including meta-optimization of learning rates, variational inference of ODE parameters, and training an LSTM to model long sequences.

研究の動機と目的

• メタラーニングやODEの解法など、高価な反復的目的関数を打ち切ることで生じる計算バイアスを是正すること。
• 逐次的な数列の極限として定義された目的関数に対して、不偏かつ計算的に効率的な勾配推定器を開発すること。
• 最適化の収束速度をループ長や必要な近似精度に依存させないこと。
• 計算単位あたりの期待改善を最大化するように最適化可能な適応的RT推定器を設計すること。

提案手法

• 目的関数またはその勾配を、中間値間の後退差分からなるテレスコピック級数として表現する。
• ランダムな分布を用いてテレスコピック級数の項の線形結合をサンプリングすることで、不偏性を保ちつつ期待計算量を削減する。
• RT推定器がホライズンHに依存せずに有限の分散と最適な収束速度を達成するための条件を導出する。
• 勾配共分散を推定することで、計算単位あたりの期待損失低下の下界を最大化するように、適応的チューニング手法を提案する。
• 2つの変種を実装：RT-SS（単一サンプル）とRT-RR（ロシアルーレット）、オンラインでのサンプリング重みのチューニングを可能にする。
• 対角共分散仮定を用いることでチューニングを簡略化し、サンプリング分布の効率的なオンライン適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダム化テレスコピック推定器は、反復的数列の極限として定義された目的関数に対して、不偏な勾配推定を達成できるか？
• RQ2 RT推定器が、ループ長や近似ホライズンに依存せずに有限の分散と最適な収束速度を維持するための条件は何か？
• RQ3 適応的RT推定器は、計算単位あたりの期待改善を最大化するように、オンラインでチューニング可能か？
• RQ4 RT推定器は、固定打ち切り法や未打ち切りベースラインと比較して、収束速度と解の品質の点で優れているか？
• RQ5 大規模RNNの学習のような高次元設定では、RT推定器の性能が劣化するか？

主な発見

• MNISTにおける学習率のメタ最適化において、RT-SS推定器は固定打ち切り法よりも高速に収束し、初期段階での進捗が速く、最終的な損失も低かった。
• 未打ち切り推定器はRT推定器よりもわずかに優れた損失を達成したが、著しく多くの計算を要したため、精度と効率のトレードオフが確認された。
• RT-RR推定器は収束が悪く、最適化の安定性を確保するには分散制御が極めて重要であることが示された。
• enwik8 LSTMタスクでは、RT推定器が初期段階で学習を加速したが、最終的にはチューニングコストの高さにより遅延が生じた。これは高次元設定における制限を示唆している。
• 適応的RT-SS推定器はしばしばベースラインを上回り、必要に応じて未打ち切り推定器にフォールバックできるため、頑健性が確認された。