[論文レビュー] Generalizing Outside the Training Set: When Can Neural Networks Learn Identity Effects?

Simone Brugiapaglia, Matthew Tingchi Liu+1 more|arXiv (Cornell University)|May 9, 2020

Neural Networks and Applications参考文献 6被引用数 4

ひとこと要約

この論文は、ニューラルネットワークが、訓練データを超えて、'AA' が文法的であるのに対し 'AB' はそうでないといった、同一性効果を一般化できるかどうかを調査する。入力符号化の不変性に基づく理論的枠組みを用いて、標準的な one-hot 符号化および直交符号化では一般化が不可能であることが示され、3アクティブビットのような分散符号化では部分的な一般化が可能であることが明らかになった。これは、符号化の選択が、明示的な変数のインスタンス化なしに抽象的な代数的規則を学習できるかどうかを決定づける重要な要因であることを示している。

ABSTRACT

Often in language and other areas of cognition, whether two components of an object are identical or not determine whether it is well formed. We call such constraints identity effects. When developing a system to learn well-formedness from examples, it is easy enough to build in an identify effect. But can identity effects be learned from the data without explicit guidance? We provide a simple framework in which we can rigorously prove that algorithms satisfying simple criteria cannot make the correct inference. We then show that a broad class of algorithms including deep neural networks with standard architecture and training with backpropagation satisfy our criteria, dependent on the encoding of inputs. Finally, we demonstrate our theory with computational experiments in which we explore the effect of different input encodings on the ability of algorithms to generalize to novel inputs.

研究の動機と目的

• 訓練中に見られなかった新しい入力に対して、同一要素と異なる要素を区別するといった同一性効果をニューラルネットワークが学習できるかどうかを明らかにすること。
• 入力符号化が学習アルゴリズムが訓練データを超えて一般化できる能力に与える影響を調査すること。
• 学習アルゴリズムが同一性効果を保存する変換に対して不変である条件を形式化すること。
• 理論的分析と計算実験を統合し、異なる符号化における一般化性能の予測を検証すること。

提案手法

• 著者らは、訓練データ D と入力 w を受け取り、モデルの学習と推論を統合した関数 L(D, w) として学習アルゴリズムを定義する。
• 同一性効果を保存する入力への変換 τ（例えば、訓練データに含まれない文字の入れ替え）を導入し、アルゴリズムとデータセットの τ に関する不変性を定義する。
• 重要な理論的結果として、D と L が両方とも τ に対して不変であれば、任意の τ によって関連付けられた w₁ と w₂ に対して L(D, w₁) = L(D, w₂) が成り立つ。これは、モデルがそれらを区別できないことを意味する。
• 本論文は、バックプロパゲーションによる学習が行われる標準的な深層ニューラルネットワークが、one-hot またはハール符号化などの直交符号化を用いる場合、τ に対して不変であることを証明する。
• 計算実験では、同一性効果の二値分類タスクにおいて、one-hot、3アクティブビット分散符号化、ハール符号化の3種類の符号化方法を比較する。
• 一般化の評価は、'YY'（期待値は1）や'YZ'（期待値は0）といった新しい入力に対する平均スコアを測定することで行い、モデルが同一ペアに対してより高いスコアを割り当てるかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに含まれない新しい入力に対して、ニューラルネットワークは、同一ペアと非同一ペアを区別するといった同一性効果を学習できるか？
• RQ2 どのような条件下で入力符号化が、ニューラルネットワークにおける同一性効果の一般化を妨げるか、あるいは可能にするか？
• RQ3 学習アルゴリズムと訓練データが変換 τ に対して不変である場合、τ によって関連付けられた入力同士をモデルが区別できないという主張は正しいか？
• RQ4 one-hot または直交符号化が失敗する状況において、3アクティブビットのような分散符号化がどの程度部分的な一般化を可能にするか？
• RQ5 異なる入力符号化を用いた場合、新しい同一ペアと非同一ペアに対するモデルの性能に顕著な差が生じるか？

主な発見

• one-hot 符号化で学習したニューラルネットワークは一般化に失敗し、'YY' と 'YZ' に対して類似したスコアを割り当てており、同一ペアと非同一ペアの区別がなされていないことが示された。
• 直交符号化の一種であるハール符号化を用いた場合も、同様に一般化に失敗し、'YY' と 'YZ' のスコアに有意な差が見られなかった。
• 一方、3アクティブビット分散符号化では部分的な一般化が可能となり、ネットワークは 'YY' に対して 'YZ' よりも顕著に高い平均スコアを割り当てた。
• 訓練損失と検証損失の曲線から、one-hot およびハール符号化の場合は明確な差が見られ、一般化が不十分であることが示されたのに対し、分散符号化ではそのような差が観察されなかった。
• 理論的分析により、直交符号化は τ に対して不変であることが確認され、これが一般化失敗の理由であることが説明された。一方、非直交的な3アクティブビット符号化ではこの不変性が破られ、部分的な一般化が可能になった。
• これらの結果は、符号化の構造が、明示的な変数のインスタンス化なしに代数的規則（例：同一性効果）を一般化できるかどうかを決定づける重要な要因であるという主張を支持している。