[論文レビュー] Understanding the Curse of Unrolling

Sheheryar Mehmood, Florian Knöll+1 more|arXiv (Cornell University)|Feb 23, 2026

Machine Learning and Data Classification被引用数 0

ひとこと要約

この論文はアルゴリズムの展開における導関数イテレートの非漸近解析を提供し、展開の呪いを推進する要因を特定し、切り捨てまたはウォームスタートがそれを緩和することを実験で示す。

ABSTRACT

Algorithm unrolling is ubiquitous in machine learning, particularly in hyperparameter optimization and meta-learning, where Jacobians of solution mappings are computed by differentiating through iterative algorithms. Although unrolling is known to yield asymptotically correct Jacobians under suitable conditions, recent work has shown that the derivative iterates may initially diverge from the true Jacobian, a phenomenon known as the curse of unrolling. In this work, we provide a non-asymptotic analysis that explains the origin of this behavior and identifies the algorithmic factors that govern it. We show that truncating early iterations of the derivative computation mitigates the curse while simultaneously reducing memory requirements. Finally, we demonstrate that warm-starting in bilevel optimization naturally induces an implicit form of truncation, providing a practical remedy. Our theoretical findings are supported by numerical experiments on representative examples.

研究の動機と目的

• 導関数イテレートの非漸近的起源を説明する。
• 展開微分中の導関数誤差に影響を与えるアルゴリズム的要因を特定する。
• 初期反復の切り捨てが呪いとメモリ使用を低減する方法を示す。
• 二階層最適化におけるウォームスタートが暗黙的な切り捨てを誘発することを示す。
• 理論と実験で理論を検証し、実用的な対策を提供する。

提案手法

• 内部問題を固定点反復としてモデル化し写像 A を用い、暗黙微分を通じてその導関数を調べる。
• 導関数列 D x^(k)(u) およびその誤差に対する非漸近的境界を、前向きモードと逆向きモードの自動微分を用いて導出する。
• 後の反復から導関数計算を開始する切り捨て（late-start）スキームを導入し分析する。
• 切り捨て導関数列の収束と呪い項の境界を示す。
• 固定計算予算の下で内部問題の解法と微分の間の資源配分を議論する。
• 暗黙の切り捨て機構としてのウォームスタートを検討し、既存の実践と関連づける。

Figure 1 : Iterate $\bm{x}^{(k)}(\bm{u})$ vs derivative $D\bm{x}^{(k)}(\bm{u})$ error plot for gradient descent applied to $f(\bm{x},u)\coloneqq\|A\bm{x}-\bm{b}\|^{2}/2+u\|\bm{x}\|^{2}/2$ . Unlike $\bm{x}^{(k)}(\bm{u})$ , $D\bm{x}^{(k)}(\bm{u})$ initially drifts away from its limit before eventually

実験結果

リサーチクエスチョン

• RQ1 展開微分において真のヤコビ行列から初期に導関数イテレートが離れる原因は何か。
• RQ2 切り捨てとウォームスタートは導関数イテレートの非漸近的挙動にどのような影響を及ぼすか。
• RQ3 展開微分における計算量・メモリ・精度のトレードオフを定量化できるか。
• RQ4 切り捨てまたはウォームスタートされた微分が真のヤコビ行列を回復または近似する条件は何か。
• RQ5 前向きモードと逆向きモードの自動微分は展開イテレーションが存在する場合、導関数情報をどのように伝播するか。

主な発見

• 導関数イテレートは初期に非漸近的な誤差増加を示し、真のヤコビ行列へ収束する前に振る舞いが現れる。
• 収束率とリプシッツ定数によって支配される「展開の呪い」を捉える成長-減衰項の境界を示す。
• 導関数計算から初期反復を切り捨てることで呪いを緩和し、メモリ使用を削減する。
• 二階層最適化におけるウォームスタートは Fixed Point 近傍から開始することで導関数経路を暗黙的に切り捨て、実用的な対策を提供する。
• 切り捨て境界は遅延的に導関数計算を行うと呪いが低減されることを定量化し、切り捨てスキームの収束保証を与える。
• 代表的な問題での実験は理論的所見を裏付ける。

Figure 2 : Error evolution of $e^{(k)}(\bm{u})$ , $\dot{e}^{(k)}(\bm{u})$ , and $\bar{e}^{(k)}(\bm{u})$ generated by gradient descent applied to $f(\bm{x},u)\coloneqq\|A\bm{x}-\bm{b}\|^{2}/2+u\|\bm{x}\|^{2}/2$ . The dashed lines denote the bounds given in ( 8 ) and ( 19 ). The vertical lines denote