[論文レビュー] Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations

Tillman Weyde, Radha Manisha Kopparti|arXiv (Cornell University)|Dec 4, 2018

Neural Networks and Applications参考文献 13被引用数 5

ひとこと要約

この論文は、完全な訓練データを用いても、標準的な順方向ニューラルネットワークが二値ベクトル間の等価関係を一般化できないことを示している。これを解決するために、著者らは微分整流器（DR）ユニットをインダクティブバイアスとして導入し、全テスト次元および全データサイズで完全な一般化を可能にした。これは、等価関係および関連するタスクにおいて、標準ネットワークを著しく上回った性能を発揮した。

ABSTRACT

Basic binary relations such as equality and inequality are fundamental to relational data structures. Neural networks should learn such relations and generalise to new unseen data. We show in this study, however, that this generalisation fails with standard feed-forward networks on binary vectors. Even when trained with maximal training data, standard networks do not reliably detect equality.We introduce differential rectifier (DR) units that we add to the network in different configurations. The DR units create an inductive bias in the networks, so that they do learn to generalise, even from small numbers of examples and we have not found any negative effect of their inclusion in the network. Given the fundamental nature of these relations, we hypothesize that feed-forward neural network learning benefits from inductive bias in other relations as well. Consequently, the further development of suitable inductive biases will be beneficial to many tasks in relational learning with neural networks.

研究の動機と目的

• 完全な訓練データを用いても、理論的には可能であるにもかかわらず、標準的な順方向ニューラルネットワークがなぜ二値ベクトル間の等価関係を一般化できないかを調査する。
• さまざまなベクトル次元、訓練データサイズ、ネットワーク深さにおいて、標準ネットワークの一般化性能を検証する。
• 等価関係および関連する関係的タスクの一般化を向上させるために、新しいインダクティブバイアス機構「微分整流器（DR）ユニット」を設計・評価する。
• DRユニットが関係のないタスクや非ターゲットタスクでの性能に悪影響を及えるかどうかを評価し、堅牢性と広範な適用可能性を確認する。
• 標準ネットワークが等価性を学習できないというこの失敗が、ニューラルネットワークにおける関係的学習に及ぼす広範な意味を検討する。特に、等価性や不等価性といった基本的な関係について。

提案手法

• 二値ベクトルペア（等しい vs. 異なる）の分類を目的とした標準的な順方向ニューラルネットワーク（FFNN）を実装し、ReLU活性化関数とソフトマックス出力を用いる。
• 入力ベクトルの対応する要素を直接比較できるように設計された、構造的インダクティブバイアスとしての微分整流器（DR）ユニットを導入する。
• 3つのアーサテクチャを評価する：プレインFFNN、イ早融合（DRユニットを最初の隠れ層の直前に追加）、ミッドフィュージョン（最初の隠れ層の後にDRユニットを挿入）。
• 合成的に生成された二値ベクトルペアを用い、Adam最適化アルゴリズムと交差エントロピー損失関数で学習を行い、複数の次元（n=2 から n=100）で実験する。
• 未観測データに対する一般化性能をテストし、すべての可能な等価ペアをカバーする完全なテストセットと、不等価ペアのランダムサンプルを用いる。
• データカバレッジ、訓練サイズ、および非等価関係タスク（例：数値比較、桁の和、桁の反転）における性能を評価するためのアブレーションスタディを実施し、DRユニットの堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 完全な訓練データを用いても、標準的な順方向ニューラルネットワークがなぜ二値ベクトル間の等価関係を一般化できないのか？
• RQ2 構造的インダクティブバイアス（特にDRユニット）の追加により、順方向ネットワークにおける等価関係検出の信頼性ある一般化が可能になるか？
• RQ3 さまざまなベクトル次元、訓練データサイズ、ネットワーク深さにおいて、DRを強化したネットワークの性能は、標準FFNNと比べてどうなるか？
• RQ4 DRユニットは、関係のないタスクや非ターゲットタスク（例：桁の和分類、桁の反転）における性能に悪影響を及えるか？
• RQ5 標準ネットワークが等価性を学習できないというこの事実が、ニューラルネットワークにおける関係的学習およびインダクティブバイアスの設計に及ぼす広範な意味は何か？

主な発見

• 標準的な順方向ニューラルネットワークは等価関係検出を一般化できない。完全な訓練データを用いても、50–75％の精度にとどまり、しばしば運の要素（50％）をわずかに上回るにとどまる。
• ミッドフィュージョンアーキテクチャにDRユニットを適用した場合、全ベクトル次元（n=2 から n=100）で100％のテスト精度を達成し、完全な一般化を示した。
• ミッドフィュージョン構成は、全訓練データの10％程度のデータでも100％の精度を達成し、信頼性ある一般化を示した。一方、標準FFNNはデータ量の増加に対してもほとんど改善が見られなかった。
• DRユニットは非等価関係タスクの性能を損なわない。数値比較タスクでは92％（標準FFNN：75％）の性能向上、桁の和分類タスクでは100％（標準FFNN：77％）の維持・向上を達成した。
• DRユニットの設計とは一致しないタスクである桁の反転についても、ミッドフィュージョンは58％の精度を達成し、標準FFNN（50％）を上回った。これは一部の転送可能性があることを示している。
• ミッドフィュージョンアーキテクチャにDRユニットを適用した場合、全テスト条件において、等価関係および関連タスクで完全な一般化を達成し、他のすべての構成を常に上回った。