[論文レビュー] Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians

Juhan Bae, Roger Grosse|arXiv (Cornell University)|Oct 26, 2020

Advanced Neural Network Applications参考文献 59被引用数 9

ひとこと要約

本稿では、再パrameterizationと線形化を通じて、最適応答ヤコビ行列の正確な近似に注力することで、ニューラルネットワークにおけるバイレベル最適化を改善する新規なハイパーネットアーキテクチャΔ-STNを提案する。訓練の安定性を高め、分散を低減することで、従来のSTNと同様の手法に比べ、正則化ハイパーパramータ（例：重み減衰、ドロップアウト）のチューニングにおいて、より速い収束、高い精度、優れた一般化性能を達成する。

ABSTRACT

Hyperparameter optimization of neural networks can be elegantly formulated as a bilevel optimization problem. While research on bilevel optimization of neural networks has been dominated by implicit differentiation and unrolling, hypernetworks such as Self-Tuning Networks (STNs) have recently gained traction due to their ability to amortize the optimization of the inner objective. In this paper, we diagnose several subtle pathologies in the training of STNs. Based on these observations, we propose the $Δ$-STN, an improved hypernetwork architecture which stabilizes training and optimizes hyperparameters much more efficiently than STNs. The key idea is to focus on accurately approximating the best-response Jacobian rather than the full best-response function; we achieve this by reparameterizing the hypernetwork and linearizing the network around the current parameters. We demonstrate empirically that our $Δ$-STN can tune regularization hyperparameters (e.g. weight decay, dropout, number of cutout holes) with higher accuracy, faster convergence, and improved stability compared to existing approaches.

研究の動機と目的

• 自己調整ネットワーク（STNs）における訓練の不安定性および病理的挙動を解消する。STNはバイレベル最適化の先駆的アプローチである。
• ガウス＝ニュートン・ヘッシアンの条件数を改善し、バイレベル最適化のダイナミクスを安定化する。
• ハイパーネットパラメータの更新における分散を低減し、ハイパーネットの摂動に起因するバイアスを排除する。
• 完全な最適応答関数の代わりに、最適応答関数のヤコビ行列の近似精度を高める。
• 重み減衰、ドロップアウト、カットアウトホールなどの正則化ハイパーパramータの、より効率的かつ安定したチューニングを可能にする。

提案手法

• ガウス＝ニュートン・ヘッシアンの条件数を改善するため、ハイパーネットの再パラメータライゼーションを実施し、バイレベル最適化のダイナミクスを安定化する。
• ハイパーネットの更新における分散を低減するとともに、摂動に起因するバイアスを除去するための修正されたトレーニング方式を導入する。
• 最適応答ハイパーネットを線形化し、最適応答関数のアフィン近似を生成する。
• ネットワークパラメータと予測値の間の依存関係を線形化することで、最適応答関数のヤコビ行列の正確な近似に焦点を当てる。
• 各レイヤーごとに構造化されたハイパーネットを用いることで、STNと同様のスケーラビリティと効率性を維持するとともに、訓練の安定性を向上させる。
• ハイパーネットパラメータには固定学習率を適用し、初期訓練段階の安定化のためウォームアップエポックを用いる。

実験結果

リサーチクエスチョン

• RQ1 STNにおける訓練の不安定性はどのように生じるのか？ また、そのパラメータライゼーションにおける構造的問題は、収束性の悪化にどのように寄与しているか？
• RQ2 ハイパーネットの再パラメータライゼーションにより、ガウス＝ニュートン・ヘッシアンの条件数が改善され、バイレベル最適化が安定化するか？
• RQ3 完全な関数ではなく、最適応答関数のヤコビ行列のみを近似することで、ハイパーパラメータチューニングの安定性と精度が向上するか？
• RQ4 最適応答ハイパーネットの線形化は、収束速度および一般化性能にどのように影響するか？
• RQ5 Δ-STNは、多様なタスクにおいてSTNおよび他のベースラインをどれほど上回るか？

主な発見

• CIFAR-10およびCIFAR-100のVGG16およびResNet18において、Δ-STNはSTNよりも高い検証精度を達成し、複数回の実験で一貫した改善を示した。
• 画像分類タスクにおいて、Δ-STNは検証損失をSTNと比較して最大0.005まで低減し、より優れた一般化性能を示した。
• LSTMにおける言語モデリングでは、Δ-STNはテスト損失0.054を達成し、STN（0.058）を上回り、最良のベースライン（0.054）と同等の性能を示したが、より安定したスケジューリングを実現した。
• MLPでは、Δ-STNはSTNよりもよりロバストで正確な入力ドロップアウトスケジューリングを発見できた。特に、異なる重み初期化条件下でも顕著であった。
• Δ-STNは摂動スケールや更新間隔の変動に対してより高いロバスト性を示し、SimpleCNNおよびAlexNetでもSTNを上回った。
• MLPにおけるΔ-STNの最終的なハイパーパラメータスケジュールは、最適なグリッドサーチ結果（p=0.43）と一致したが、STNは同様の最適値に収束できなかった。