[論文レビュー] Understanding and Mitigating Exploding Inverses in Invertible Neural Networks

Jens Behrmann, Paul Vicol+3 more|arXiv (Cornell University)|Jun 16, 2020

Model Reduction and Neural Networks参考文献 59被引用数 18

ひとこと要約

この論文は、可逆ニューラルネットワーク（INN）における逆行列の爆発問題を特定し、それに対処する。この問題は数値的非可逆性を引き起こし、正規化フロー やメモリ効率の良いバックプロパゲーションといった重要な応用分野の基盤を損なう。著者らはINNの基本構成要素の双リプシッツ性を導出し、局所的可逆性を安定化するための正則化スキームと、グローバル可逆性を確保するためのリプシッツ制約付きアーキテクチャを提案。生成的および識別的タスクの両方で著しく安定性が向上する。

ABSTRACT

Invertible neural networks (INNs) have been used to design generative models, implement memory-saving gradient computation, and solve inverse problems. In this work, we show that commonly-used INN architectures suffer from exploding inverses and are thus prone to becoming numerically non-invertible. Across a wide range of INN use-cases, we reveal failures including the non-applicability of the change-of-variables formula on in- and out-of-distribution (OOD) data, incorrect gradients for memory-saving backprop, and the inability to sample from normalizing flow models. We further derive bi-Lipschitz properties of atomic building blocks of common architectures. These insights into the stability of INNs then provide ways forward to remedy these failures. For tasks where local invertibility is sufficient, like memory-saving backprop, we propose a flexible and efficient regularizer. For problems where global invertibility is necessary, such as applying normalizing flows on OOD data, we show the importance of designing stable INN building blocks.

研究の動機と目的

• 可逆ニューラルネットワーク（INN）の数値的不安定性、特に実用上可逆性を損なう「逆行列の爆発」という現象を調査すること。
• 共通するINNの基本構成要素（たとえば結合層など）の双リプシッツ性を分析することで、逆写像の安定性の根本的要因を解明すること。
• 局所的可逆性（例：メモリ効率の良いバックプロパゲーション）とグローバル可逆性（例：分布外データにおける正規化フロー）を必要とする応用分野における不安定性を是正すること。
• 多様なINN用途にわたる安定な逆計算を保証する、実用的で効果的な正則化およびアーキテクチャ制約を開発すること。

提案手法

• アフィン層や加法的結合層といった標準的なINNコンponentsの理論的双リプシッツ境界を導出することで、その安定性特性を理解すること。
• 特にメモリ効率の良いバックプロパゲーションに適した、柔軟で微分可能な正則化子を提案し、訓練中に局所的可逆性を強制すること。
• グローバル可逆性を確保するためのリプシッツ制約付きアーキテクチャを導入し、逆ヤコビ行列の特異値が有界であることを保証すること。
• CIFAR-10、CelebA、Flow-GANベンチマーク上で、正則化およびアーキテクチャ制約の有効性を実験的に検証すること。
• 訓練中の逆写像安定性を測定するため、標準勾配とメモリ節約勾配との間の角度に基づく指標を用いること。
• MLEおよびGAN目的関数をINNに適用し、尤度（BPD）とサンプル品質（FID、インセプションスコア）を比較することで、安定性および性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 理論的には可逆であるにもかかわらず、一般的に使われるINNアーキテクチャが、実用上なぜ数値的可逆性を維持できないのか。
• RQ2 INNの基本構成要素の双リプシッツ性が、逆写像の安定性にどのように影響するか。
• RQ3 局所的可逆性のみを必要とするタスク（例：メモリ効率の良いバックプロパゲーション）において、正則化が逆写像の安定化に有効であるか。
• RQ4 特に分布外データにおける正規化フロー モデルでグローバル可逆性を確保するために必要なアーキテクチャ制約は何か。
• RQ5 訓練目的の選択（例：MLE 対 GAN）が、INNの逆行列の数値的安定性および下流の性能にどのように影響するか。

主な発見

• アフィン結合フローを含む一般的なINNアーキテクチャは、逆行列の爆発を示し、分布内および分布外の両方のデータで再構成誤差、NaN値、変数変換の公式の失敗を引き起こす。
• 標準バックプロパゲーションで訓練されたアフィン結合モデルでは、標準勾配とメモリ節約勾配との間の角度が急速に増大し、数値的に非可逆（角度 → NaN）となるが、加法的モデルは安定している。
• 有限差分または正規化フローの目的関数による正則化により、勾配間の角度が小さく保たれ、安定なメモリ効率の良い訓練が可能になる。
• MLEを除くGAN目的関数でのみ訓練したINNでは、逆写像が不安定となり、実際には無限のビット毎次元（BPD）が観測されるが、再構成誤差は小さい場合がある。
• MLEとGAN損失を組み合わせたFlow-GAN目的関数は、安定な逆写像（BPD ≈ 4.21）と改善されたサンプル品質（FID = 420）をもたらし、純粋なGAN訓練（FID = 850、BPD = ∞）よりも優れている。
• 安定した条件数と再構成誤差のないモデルでも、純粋にGAN目的関数でのみ訓練した場合、不自然に高いBPD値を示し、尤度推定の不安定性を示している。