[論文レビュー] On Training Implicit Models

Zhengyang Geng, Xinyu Zhang+3 more|arXiv (Cornell University)|Nov 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 13

ひとこと要約

本稿では、正確な勾配の軽量な近似としてのフォビック勾配を提案する。この手法は、高コストなバックワードソルバーを回避しつつ、性能を維持または向上させる。減衰付きアンローリングとノイマン級数を活用することで、ImageNet上での学習を1.7倍高速化し、正確な勾配法を上回る性能を達成する。深くメモリを一定に保つimplicitネットワークの学習に対して、安定的で効率的な代替手法を提供する。

ABSTRACT

This paper focuses on training implicit models of infinite layers. Specifically, previous works employ implicit differentiation and solve the exact gradient for the backward propagation. However, is it necessary to compute such an exact but expensive gradient for training? In this work, we propose a novel gradient estimate for implicit models, named phantom gradient, that 1) forgoes the costly computation of the exact gradient; and 2) provides an update direction empirically preferable to the implicit model training. We theoretically analyze the condition under which an ascent direction of the loss landscape could be found, and provide two specific instantiations of the phantom gradient based on the damped unrolling and Neumann series. Experiments on large-scale tasks demonstrate that these lightweight phantom gradients significantly accelerate the backward passes in training implicit models by roughly 1.7 times, and even boost the performance over approaches based on the exact gradient on ImageNet.

研究の動機と目的

• implicitモデルにおける正確な勾配計算の高コストを緩和するため、implicit微分を用いたアプローチ。
• 学習におけるimplicitモデルに対して、計算的に効率的かつ実証的に有効な勾配近似を開発すること。
• 近似勾配が損失のランドスケープにおいて上昇方向を保証する理論的条件を提供すること。
• forwardパスや推論動作を変更せずに、より高速な学習を可能にすること。
• 視覚、自然言語、グラフ学習を含む多様なタスクにおいて、手法の有効性を検証すること。

提案手法

• 正確な勾配を解くために高価なバックワード線形系を解かずに、正確な勾配を近似する最初の順序オракルとしてフォビック勾配を提案する。
• フォビック勾配が損失のランドスケープにおいて上昇方向を保証する理論的条件を導出する。
• 2つの実装形態を導入：DEQモデル向けの減衰付き固定点アンローリングと、ノイマン級数に基づく近似。
• 同じforwardパスと推論パイプラインを維持することで、既存のソルバーやアーキテクチャとの互換性を確保する。
• 適切なハイパーパramータ選択のもとで、フォビック勾配を用いた確率的勾配降下法（SGD）の収束を示す。
• 特にTransformerベースのモデルにおいて、不規則な損失ランドスケープでも学習を安定化させるために、明示的ヤコビアン正則化（JR）を導入する。

実験結果

リサーチクエスチョン

• RQ1 1次近似勾配が、implicitモデルの学習において正確な勾配計算を上回ることができるか？
• RQ2 近似勾配が損失ランドスケープにおいて有効な上昇方向を保証する条件は何か？
• RQ3 フォビック勾配は、正確な勾配法と比較して、学習速度とモデル精度の面でどのように性能を発揮するか？
• RQ4 フォビック勾配は、Transformerベースのモデルに見られるような不規則な損失ランドスケープでも学習を安定化できるか？
• RQ5 本手法は、視覚、自然言語、グラフ学習を含む多様なタスクにおいても有効に機能するか？

主な発見

• ImageNet上では、フォビック勾配がバックワードパスを最大12倍高速化し、合計の学習時間を1.4–1.7倍短縮する。
• ImageNet上では、フォビック勾配は正確な勾配法を上回るトップ-1精度を達成し、一般化性能に優れていることを示す。
• 正確な勾配ソルバーが発散するような悪条件な設定でも、フォビック勾配は安定した学習を維持する。
• ノイマン級数と減衰付きアンローリングの2つの実装形態とも、理論的な上昇条件を満たし、適切な減衰のもとで収束を可能にする。
• 明示的ヤコビアン正則化は、特にTransformerベースのモデルにおいて安定性と性能を向上させ、明示的正則化係数を20倍まで低減可能にする。
• Wikitext-103では、JRを用いたUPGバージョンが、2.2倍の高速化でテストパープレキシティ24.4を達成し、1.7倍の高速化で24.0を達成する。