[論文レビュー] On the Iteration Complexity of Hypergradient Computation

Riccardo Grazzi, Luca Franceschi+2 more|arXiv (Cornell University)|Jun 29, 2020

Model Reduction and Neural Networks参考文献 29被引用数 22

ひとこと要約

本稿は、収縮写像の仮定の下で、二段階最適化におけるハイパーグラディエント計算を統一的に理論的分析し、反復微分（ITD）と近似陰的微分（AID）を比較する。反復複雑性の境界を確立し、AIDが共役勾配を用いる場合、特に下位層の写像が収縮的である場合には、計算効率と近似精度の両面で優れた性能を示すことが判明した。

ABSTRACT

We study a general class of bilevel problems, consisting in the minimization of an upper-level objective which depends on the solution to a parametric fixed-point equation. Important instances arising in machine learning include hyperparameter optimization, meta-learning, and certain graph and recurrent neural networks. Typically the gradient of the upper-level objective (hypergradient) is hard or even impossible to compute exactly, which has raised the interest in approximation methods. We investigate some popular approaches to compute the hypergradient, based on reverse mode iterative differentiation and approximate implicit differentiation. Under the hypothesis that the fixed point equation is defined by a contraction mapping, we present a unified analysis which allows for the first time to quantitatively compare these methods, providing explicit bounds for their iteration complexity. This analysis suggests a hierarchy in terms of computational efficiency among the above methods, with approximate implicit differentiation based on conjugate gradient performing best. We present an extensive experimental comparison among the methods which confirm the theoretical findings.

研究の動機と目的

• 二段階最適化におけるハイパーグラディエント近似手法の反復複雑性を分析する統一的理論枠組みを提供すること。
• 反復微分（ITD）と近似陰的微分（AID）手法の計算効率と近似品質を比較すること。
• 下位層の固定点写像が収縮写像であるという仮定の下で、ITDおよびAIDの明示的反復複雑性境界を確立すること。
• ハイパラメータ最適化、メタラーニング、均衡モデル（EQM）におけるこれらの手法の実用的性能を評価すること。
• AIDが共役勾配を用いてITDを上回る精度とメモリ効率を示す条件を特定すること。

提案手法

• 上位層の目的関数が、収縮写像によって定義されるパラメトリック固定点方程式の解に依存する一般化された二段階問題を定式化する。
• 主な2つのハイパーグラディエント近似戦略を分析する：前向きまたは後ろ向きモードの自動微分を用いた反復微分（ITD）、および共役勾配を用いて線形方程式系を解く近似陰的微分（AID）。
• 収縮仮定の下で、ITDおよびAIDの理論的反復複雑性境界を導出し、直接的な定量的比較を可能にする。
• 固定点写像のヤコビ行列が非対称である場合、AIDにおける正規方程式を解くために共役勾配法を適用する。
• 均衡モデルにおいて収縮条件（||A|| < 1）を満たすためにスペクトル射影を用いることで、収束性と安定性を保証する。
• ハイパラメータ最適化、メタラーニング、均衡モデル（EQM）に対して広範な実験を実施し、理論的知見の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 下位層の固定点問題に対して収縮写像の仮定が成り立つ場合、ITDとAIDの反復複雑性はどのように比較できるか？
• RQ2 共役勾配を用いたAIDとITDの間で、近似精度と計算効率の相対的な優位性は何か？
• RQ3 均衡モデルにおいて収縮条件（||A|| < 1）を強制することで、ハイパーグラディエント近似手法の安定性と性能にどのような影響を与えるか？
• RQ4 ITDがAIDを上回る状況は、収縮仮定が満たされない場合にどのような場面で生じるか？
• RQ5 スペクトル射影や正則化によって収縮条件がどの程度強化され、手法の安定性が向上するか？

主な発見

• 共役勾配を用いたAIDは、近似精度と反復複雑性の両面で最良のトレードオフを達成し、収縮仮定が成り立つ場合にはITDよりも計算効率に優れる。
• 理論的反復複雑性境界から、下位層問題のヘッセ行列が良好に条件付けられている場合、AIDはITDよりも収束が速いことが示された。
• スペクトル射影（||A|| < 1）によって収縮条件を強制した場合、すべての手法が安定に収束するが、共役勾配を用いたAIDはITDに比べてはるかに高速かつメモリ効率が良い。
• 収縮条件を強制しない場合、AID手法（特にメモリレスな変種）は広範な学習率範囲で不安定化する一方、ITDはよりロバストである。
• 遷移行列Aのスペクトルノルムを[0, 1−ε]に射影することは、強い正則化として機能し、一般化性能と安定性を向上させる。これは先行研究の結果とも整合的である。
• 実験結果から、下位層の写像が収縮的である場合には、共役勾配を用いたAIDが、優れた収束性と低いメモリフットプリントを実現するため、大規模な二段階問題において好ましい手法であると確認された。