[論文レビュー] Optimizing Mode Connectivity via Neuron Alignment

N. Joseph Tatro, Pin‐Yu Chen+4 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

この論文は、重みの置換対称性を考慮することで、深層ニューラルネットワークの損失関数の多様体におけるモード接続性を最適化するニューロンアライメントを提案する。モデル間の中間活性化分布をアライメントすることで、より低い損失を持つ平面的で滑らかな曲線が得られ、敵対的に頑健なモデル間のロバスト損失障壁が顕著に低減され、一般化性能と頑健性が向上する。

ABSTRACT

The loss landscapes of deep neural networks are not well understood due to their high nonconvexity. Empirically, the local minima of these loss functions can be connected by a learned curve in model space, along which the loss remains nearly constant; a feature known as mode connectivity. Yet, current curve finding algorithms do not consider the influence of symmetry in the loss surface created by model weight permutations. We propose a more general framework to investigate the effect of symmetry on landscape connectivity by accounting for the weight permutations of the networks being connected. To approximate the optimal permutation, we introduce an inexpensive heuristic referred to as neuron alignment. Neuron alignment promotes similarity between the distribution of intermediate activations of models along the curve. We provide theoretical analysis establishing the benefit of alignment to mode connectivity based on this simple heuristic. We empirically verify that the permutation given by alignment is locally optimal via a proximal alternating minimization scheme. Empirically, optimizing the weight permutation is critical for efficiently learning a simple, planar, low-loss curve between networks that successfully generalizes. Our alignment method can significantly alleviate the recently identified robust loss barrier on the path connecting two adversarial robust models and find more robust and accurate models on the path.

研究の動機と目的

• 深層ニューラルネットワークの高次元的かつ非凸的な損失関数の多様体における理解の不足に取り組むこと。
• 重みの置換対称性がモデル空間におけるモード接続性に与える影響を調査すること。
• 中間活性化を経路全体でアライメントすることで、モデル間の曲線探索を改善する手法を開発すること。
• 敵対的に訓練されたモデル間のロバスト損失障壁を低減し、より安定的かつ正確な補間を可能にすること。

提案手法

• 2つの深層ニューラルネットワーク間の最適な重みの置換を近似的に得るためのヒューリスティックとしてニューロンアライメントを導入する。
• 補間経路に沿って構造的類似性を促進するために、2つのモデルの中間活性化分布をアライメントする。
• 近接交替最小化スキームを用いて、アライメントされた置換が局所的に最適であることを経験的に検証する。
• 活性化アライメントによる重みの置換最適化を通じて、モデル空間に平面的で低損失の曲線を構築する。
• この手法は、損失関数の多様体において重みの置換対称性を暗黙的に考慮し、接続性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける重みの置換対称性は、損失関数の多様体の接続性にどのように影響するか？
• RQ2 2つのモデル間の中間活性化分布をアライメントすることで、より低い損失を持つ補間経路が得られるか？
• RQ3 ニューロンアライメントは、2つの敵対的頑健なモデル間のロバスト損失障壁を低減するか？
• RQ4 ニューロンアライメントによって得られた置換は、経路損失を最小化する上で局所的に最適か？
• RQ5 アライメントされた経路は、標準的な補間法よりも一般化性能が高く、より頑健で正確なモデルを生成できるか？

主な発見

• ニューロンアライメントは、2つの敵対的頑健なモデル間のロバスト損失障壁を顕著に低減し、滑らかで低損失の補間を可能にする。
• 近接交替最小化スキームを用いた経験的検証により、ニューロンアライメントによって得られた置換が局所的に最適であることが確認された。
• この手法は、標準的な補間法よりも優れた一般化性能を示す平面的で低損失の曲線を効果的に発見できた。
• 活性化分布のアライメントは、補間経路全体で頑健性と精度が向上することをもたらした。
• 重みの置換対称性を考慮することが、深層学習における効果的なモード接続性にとって不可欠であることが示された。