[論文レビュー] Will Bilevel Optimizers Benefit from Loops

Kaiyi Ji, Mingrui Liu+2 more|arXiv (Cornell University)|May 27, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、内側の解法とヘッセ逆行列近似のループ有無にかかわらず、AID-BiOおよびITD-BiOバイレベル最適化手法の統一された収束解析を提供する。AID-BiOではループが勾配複雑度を低減することで全体の効率を向上させることを示し、ITD-BiOでは収束誤差をゼロに近づけるためにループが不可欠であることが判明した—ノーループ手法では避けられない非ゼロ誤差が生じる。理論的考察と実験により検証された。

ABSTRACT

Bilevel optimization has arisen as a powerful tool for solving a variety of machine learning problems. Two current popular bilevel optimizers AID-BiO and ITD-BiO naturally involve solving one or two sub-problems, and consequently, whether we solve these problems with loops (that take many iterations) or without loops (that take only a few iterations) can significantly affect the overall computational efficiency. Existing studies in the literature cover only some of those implementation choices, and the complexity bounds available are not refined enough to enable rigorous comparison among different implementations. In this paper, we first establish unified convergence analysis for both AID-BiO and ITD-BiO that are applicable to all implementation choices of loops. We then specialize our results to characterize the computational complexity for all implementations, which enable an explicit comparison among them. Our result indicates that for AID-BiO, the loop for estimating the optimal point of the inner function is beneficial for overall efficiency, although it causes higher complexity for each update step, and the loop for approximating the outer-level Hessian-inverse-vector product reduces the gradient complexity. For ITD-BiO, the two loops always coexist, and our convergence upper and lower bounds show that such loops are necessary to guarantee a vanishing convergence error, whereas the no-loop scheme suffers from an unavoidable non-vanishing convergence error. Our numerical experiments further corroborate our theoretical results.

研究の動機と目的

• すべてのループ実装選択肢（内側の解法とヘッセ逆行列近似のループ有無）をカバーするAID-BiOおよびITD-BiOの統一された収束解析を提供すること。
• すべての実装の計算複雑度を特定し、厳密な比較を可能にすること。
• 内側の解法推定およびヘッセ逆行列近似におけるループの使用が、全体の効率を向上させるかどうかを特定すること。
• ITD-BiOにおいて収束誤差をゼロに近づけるためにループが必須であることを示す理論的境界を確立すること。
• 理論的発見を数値実験で検証すること。

提案手法

• Nループ、Qループ、ノーループ、N-Qループなどの異なるループ設定下でのAID-BiOおよびITD-BiOの統一された収束境界を導出する。
• 公平な比較のため、すべての実装で勾配降下法を用いて線形方程式を解く。
• 理論的解析を用いて、勾配および行列・ベクトル積の複雑度の上界と下界を導出する。
• ITD-BiOの下界を示すために、特定の損失関数の例を構築し、ノーループケースで非ゼロ誤差が生じることを証明する。
• テレスコピング技法および行列ノルム解析を用いて収束速度を導出する。
• バイレベル最適化タスクにおける数値実験を通じて理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 AID-BiOにおいて、内側の解法推定ステップでループを使用することは計算効率を向上させるか？
• RQ2 AID-BiOにおいて、ヘッセ逆行列・ベクトル積の近似にループを使用することは有益か？
• RQ3 ITD-BiOにおいて、収束誤差をゼロに近づけるためにループは必須か？
• RQ4 AID-BiOおよびITD-BiOの各実装バリアントの計算複雑度は何か？
• RQ5 ITD-BiOのノーループスキームは、停留在点への収束を達成できるか？

主な発見

• AID-BiOにおいて、内側の解法推定（Nループ）にループを使用することで、1ステップあたりのコストが高くなるものの、全体の勾配複雑度が低減される。
• AID-BiOにおいて、ヘッセ逆行列近似のためのQループは勾配複雑度を低減し、効率性を向上させる。
• ITD-BiOにおいて、ノーループ実装は避けられない非ゼロ収束誤差を生じるため、ループが必須である。
• 理論的上界と下界は、ITD-BiOにおいてループが収束誤差をゼロに近づけるために不可欠であることを確認している。
• 数値実験により理論的発見が裏付けられ、AID-BiOおよびITD-BiOの両方でループを用いた場合に優れた収束性能が得られている。
• N-QループAID-BiOの計算複雑度は、勾配および行列・ベクトル積の両方でO~(κ⁴ε⁻¹)であり、ノーループバージョンを上回る性能を示している。