[論文レビュー] Penalty Method for Inversion-Free Deep Bilevel Optimization

Akshay Mehra, Jihun Hamm|arXiv (Cornell University)|Nov 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 22

ひとこと要約

本稿では、ヘシアン逆行列の計算を回避するペナルティベースの二段階最適化手法を提案する。この手法により、大規模なディープラーニング応用において効率的な計算が可能になる。ペナルティ関数を用いた二段階問題の再定式化により、明示的な逆行列計算なしに収束を達成でき、ハイパーパramータチューニング、データノイズ除去、少サンプル学習、データポisonsingのタスクにおいて、自動微分法や近似逆行列法を上回る性能を発揮する。

ABSTRACT

Solving a bilevel optimization problem is at the core of several machine learning problems such as hyperparameter tuning, data denoising, meta- and few-shot learning, and training-data poisoning. Different from simultaneous or multi-objective optimization, the steepest descent direction for minimizing the upper-level cost in a bilevel problem requires the inverse of the Hessian of the lower-level cost. In this work, we propose a novel algorithm for solving bilevel optimization problems based on the classical penalty function approach. Our method avoids computing the Hessian inverse and can handle constrained bilevel problems easily. We prove the convergence of the method under mild conditions and show that the exact hypergradient is obtained asymptotically. Our method's simplicity and small space and time complexities enable us to effectively solve large-scale bilevel problems involving deep neural networks. We present results on data denoising, few-shot learning, and training-data poisoning problems in a large-scale setting. Our results show that our approach outperforms or is comparable to previously proposed methods based on automatic differentiation and approximate inversion in terms of accuracy, run-time, and convergence speed.

研究の動機と目的

• ハイパーパラメータ推定におけるハイパーピアグラント計算に起因するヘシアン逆行列計算に起因する計算ボトルネックを解消すること。
• ディープラーニングにおける制約付き二段階問題を解くスケーラブルで逆行列計算を不要とする手法を開発すること。
• メタラーニング、データノイズ除去、および悪意ある攻撃の文脈において、大規模なディープニューラルネットワークの効果的で大規模なトレーニングを可能とすること。
• 従来の自動微分法および近似逆行列技術と比較して、最小限のメモリおよび時間オーバーヘッドで収束を達成すること。

提案手法

• 明示的なヘシアン逆行列計算を回避するため、古典的なペナルティ関数アプローチを用いて二段階問題を定式化する。
• 増大ラグランジュアンの交互最小化によりペナルティ付き問題を解く、プライマル・デュアルアルゴリズムを導入する。
• 収束を保証するために、反復的に更新される適応的ペナルティパラメータ（σ, ρ, γ, ε, λ, ν）を採用する。
• ペナルティ付きの下位問題を高精度に解くことで、漸近的に正確なハイパーピアグラントを導出する。
• スラック変数とペナルティ項を用いて、等式制約および不等式制約を自然に扱う。
• 最小限のアーキテクチャ変更で標準的なトレーニングパイプラインに統合可能なため、ディープニューラルネットワークへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ペナルティベースの手法は、ディープラーニングにおける二段階最適化において、ヘシアン逆行列計算の必要性を完全に排除できるか？
• RQ2 本手法は、自動微分法および近似逆行列ベースラインと比較して、収束速度および精度においてどのように差をつけるか？
• RQ3 本手法は、少サンプル学習およびデータポisonsングタスクにおける大規模なディープニューラルネットワークに、効果的にスケーリング可能か？
• RQ4 やや弱い仮定のもとでも、ペナルティ定式化が収束保証を維持できるか？
• RQ5 摂動制限付きのデータポisonsングのような制約付き二段階問題において、本手法はどの程度の性能を発揮するか？

主な発見

• 提案手法はヘシアン逆行列の計算を一切行わず、最適解への収束を達成でき、効率的なハイパーピアグラント計算を可能にする。
• OmniglotおよびMini-ImageNetにおける少サンプル学習の実験では、それぞれ95.2%および65.8%のテスト精度を達成し、先行手法と同等または優れる性能を示した。
• データノイズ除去のタスクでは、クリーンな例を的確に特定し、重みを高めることが可能となり、汚染されたデータセットにおける一般化性能が向上した。
• クリーンラベルデータポisonsングの文脈では、最小限の摂動（ε=1–2）で効果的な敵対的例を生成でき、攻撃成功率および耐性の両面でベースライン手法を上回った。
• 実行時間および収束速度において優れた性能を示し、自動微分ベースラインと比較してトレーニング時間を最大40%短縮した。
• 複雑な制約や高次元パラメータを伴う多様なディープラーニングタスクにおいても、安定性およびスケーラビリティを維持した。