[論文レビュー] Generating Neural Networks with Neural Networks

Lior Deutsch|arXiv (Cornell University)|Jan 6, 2018

Cell Image Analysis Techniques参考文献 44被引用数 11

ひとこと要約

本稿では、精度と多様性のバランスを取る損失関数を最適化することで、多様で正確なニューラルネットワーク重みを生成する、新しいハイパーネットワークトレーニングフレームワークを提案する。重みの対称性を明示的に考慮している。生成された重みが非自明で高次元の多様体上に位置することを示し、生成されたネットワークのアンサンブルが adversarial な例に対してより頑健であることを示している。

ABSTRACT

Hypernetworks are neural networks that generate weights for another neural network. We formulate the hypernetwork training objective as a compromise between accuracy and diversity, where the diversity takes into account trivial symmetry transformations of the target network. We explain how this simple formulation generalizes variational inference. We use multi-layered perceptrons to form the mapping from the low dimensional input random vector to the high dimensional weight space, and demonstrate how to reduce the number of parameters in this mapping by parameter sharing. We perform experiments and show that the generated weights are diverse and lie on a non-trivial manifold.

研究の動機と目的

• ターゲットネットワークの確率的解釈を必要としない、多様で正確なニューラルネットワーク重みを生成するハイパーネットワークトレーニング目的の開発。
• ニューラルネットワークに自然なデータ分布がないという問題に対処するため、精度と意味のある多様性という望ましい特性に基づいた損失関数を定式化する。
• 変分推論に基づくハイパーネットワークを改善するため、精度と多様性のトレードオフに明示的な制御を可能にし、柔軟な多様性損失項を許容する。
• 生成された重みが重み空間内で非自明で構造的な多様体を形成することを示し、高品質なアンサンブルを可能にする。
• 生成されたネットワークのアンサンブルが adversarial な例に対してより頑健であることを示す。

提案手法

• 多様性が、重みの置換などの自明な対称性変換を考慮する精度と多様性の項の重み付き和としてハイパーネットワーク損失を定式化する。
• 低次元のランダムな潜在ベクトルをターゲットネットワークの高次元重み空間に写像するために、多層パーセプトロン（MLP）を用いる。
• 重み生成子のパラメータ数を削減し、スケーラビリティを向上させるために、ハイパーネットワークアーキテクチャでパラメータ共有を適用する。
• バックプロパゲーションを用いてエンドツーエンドでハイパーネットワークを訓練し、生成された重みの高い検証精度と高い多様性を最適化する。
• 生成されたネットワークが自明な変換を超えて異なる場合にのみ異なると見なされるように、対称性に不変な多様性メトリックを用いる。
• 多数決による投票を用いて生成されたネットワークのアンサンブルを構築し、adversarial な頑健性と標準的な精度の両方でその性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 変分推論や確率的モデリングに依存せずに、ハイパーネットワークが多様で正確なニューラルネットワーク重みを生成できるか？
• RQ2 重みの置換などの自明な対称性変換が、真のアーキテクチャ的差異を表さない場合に、生成された重みの多様性を意味的にどのように測定できるか？
• RQ3 生成された重みが、高次元の重み空間内で非自明で低次元の多様体を形成する程度はどの程度か？
• RQ4 ハイパーネットワークによって生成されたネットワークのアンサンブルは、個々のネットワークよりも adversarial な例に対して頑健性が向上するか？
• RQ5 ハイパーネットワークが層ごとに統計的に依存する重みを生成する能力が、独立した層生成と比較して性能に与える影響はいかほどか？

主な発見

• ハイパーネットワークは、検証セットで99.14％のアンサンブル精度を達成する高精度なニューラルネットワーク重みを効果的に生成した。
• 主成分分析（PCA）の散布図から、生成された重みが非自明で構造的な多様体上に位置していることが示され、一様な一次元およびそれ以上の次元構造が顕著に観察された。
• 潜在空間の補間による経路は高い精度を維持しており、直接経路とは異なり、滑らかで意味のある重み空間の走査が可能であることが示された。一部のケースでは直接経路は失敗した。
• 100個のハイパーネットワーク生成分類器からなるアンサンブルは、単一の分類器と比較して adversarial 攻撃の成功率を低下させ、より高い頑健性を示した。
• すべての摂動サイズにおいて、MNFGベースラインと比較して、ハイパーネットワークは adversarial な例の成功率が低く、より優れた頑健性を示した。
• 本手法は、変分推論を特殊ケースとして一般化しており、多様性損失とハイパーパrameterチューニングの特定の選択をした場合に、VIが導出される。