[論文レビュー] Learning explanations that are hard to vary

Giambattista Parascandolo, Alexander Neitz+3 more|arXiv (Cornell University)|Sep 1, 2020

Neural Networks and Applications参考文献 44被引用数 73

ひとこと要約

本論文は Invariant Learning Consistency (ILC) を形式化し、AND-mask 勾配法を導入して環境を跨ぐ不変な説明の学習を奨励する、記憶化を減らし、OOD一般化を改善する。

ABSTRACT

In this paper, we investigate the principle that `good explanations are hard to vary' in the context of deep learning. We show that averaging gradients across examples -- akin to a logical OR of patterns -- can favor memorization and `patchwork' solutions that sew together different strategies, instead of identifying invariances. To inspect this, we first formalize a notion of consistency for minima of the loss surface, which measures to what extent a minimum appears only when examples are pooled. We then propose and experimentally validate a simple alternative algorithm based on a logical AND, that focuses on invariances and prevents memorization in a set of real-world tasks. Finally, using a synthetic dataset with a clear distinction between invariant and spurious mechanisms, we dissect learning signals and compare this approach to well-established regularizers.

研究の動機と目的

• 環境を跨いで一般化する不変な説明の必要性を動機づける、偽のパターンを記憶化するのではなく説明を一般化させる。
• 環境を横断してモデルの極小値がどれだけ頑健かを評価する一貫性指標を形式化する。
• 不変性を強調する代替的な勾配集約法（AND-mask）を提案し、妥当性を検証する。
• ILC がOOD一般化を改善し、記憶化に抵抗できることを合成データと実世界のタスクを通じて示す。
• 提案手法を確立された正則化手法やドメイン適応法と比較する。

提案手法

• 最小値付近で環境間における損失地形がどのように異なるかを測定する形式的な一貫性スコア I^ε(θ*) を定義する。
• アルゴリズムの収束解が環境を跨いでどれだけ一貫しているかを期待値として定義する Invariant Learning Consistency (ILC) を導入する。
• AND-mask を提案する: 環境を跨いで符号が異なる勾配成分をマスクし、環境間の暗黙の論理ANDを有効にする。
• AND-mask を閾値 τ で実装する方法を説明し、標準 GD と同程度の計算効率を維持することを示す。
• 勾配方向の不一致の低減を概念的に正当化するために、ヘッセ行列の幾何平均と方法を関連づける。

実験結果

リサーチクエスチョン

• RQ1 環境を跨いで一般化する極小値を識別するための一貫性指標を定義できるか。
• RQ2 AND様の操作による勾配集約は不変性を促進し、記憶化を減らすか。
• RQ3 AND-mask を用いた ILC が、不変な機構やショートカットを持つ合成タスクで、標準的な正則化手法と比べてどう機能するか。
• RQ4 CIFAR-10 のランダムラベルや CoinRun 行動模倣のような実世界タスクで、手法はOOD一般化を改善するか。

主な発見

• AND-mask 勾配法は、環境を跨いで不一致の勾配成分をマスクすることにより、一貫性を高める。
• AND-mask は環境固有のショートカットに頼る合成タスクで記憶化を防ぐことができる。
• CIFAR-10 のランダムラベルでは、AND-mask が記憶化を防ぎつつ、通常ラベル付きデータの性能を保持する。
• CoinRun 行動模倣設定で、AND-mask は未見レベルへの一般化を改善する。
• 標準的な訓練は訓練速度を最大化する傾向があり、これが不変学習を犠牲にすることがある。一方 ILC は不変性のために学習速度を妥協する。