[論文レビュー] Mutual exclusivity as a challenge for deep neural networks

Kanishk Gandhi, Brenden M. Lake|arXiv (Cornell University)|Jun 24, 2019

Topic Modeling参考文献 38被引用数 9

ひとこと要約

この論文は、人間の乳児によく見られる、新しいラベルが新しい対象物に優先的に割り当てられるという『相互排他的性（ME）』バイアスが、バニラ型の深層ニューラルネットワークに見られるかどうかを調査している。著者らは、標準的なニューラルネットワークがこのバイアスを欠いており、むしろ新しい入力を既存の出力にマッピングする『反ME』傾向を示していることを示している。これは、継続的でデータが乏しい学習環境におけるサンプル効率性を損なう。

ABSTRACT

Strong inductive biases allow children to learn in fast and adaptable ways. Children use the mutual exclusivity (ME) bias to help disambiguate how words map to referents, assuming that if an object has one label then it does not need another. In this paper, we investigate whether or not standard neural architectures have an ME bias, demonstrating that they lack this learning assumption. Moreover, we show that their inductive biases are poorly matched to lifelong learning formulations of classification and translation. We demonstrate that there is a compelling case for designing neural networks that reason by mutual exclusivity, which remains an open challenge.

研究の動機と目的

• 人間の乳児の語彙学習時に観察される、バニラ型の深層ニューラルネットワークが自然に相互排他的性（ME）バイアスを示すかどうかを調査すること。
• MEバイアスが継続的学習の場面で有益であるかどうかを、特に物体認識および機械翻訳タスクにおいて評価すること。
• 標準的なニューラルネットワークのインダクティブバイアスと、継続的かつデータが乏しい学習環境の構造的要件との間の不一致を特定すること。
• MEバイアスを学習可能にするためのタスク汎用的ニューラルネットワークの設計を主張すること。
• MEバイアスを深層学習システムにメタ戦略として組み込む可能性を検討すること。タスク固有の訓練や明示的学習に依存するのではなく。

提案手法

• 既知の対象物と新しいラベルのペアを用いた合成語彙学習タスクで、フィードフォワードおよびシーケンス・ツー・シーケンス（seq2seq）ニューラルネットワークを訓練すること。
• 新しいラベル（例：'dax'）を提示し、ネットワークの出力分布が既知の対象物と新しい対象物の間でどのように分布するかを測定することで、ME行動を評価すること。
• モデルが新しいラベルを新しい対象物に割り当てる傾向を定量化するためのMEスコアを計算すること。
• ドロップアウトや重み減衰などのさまざまな正則化子を用いて、反MEバイアスを緩和できるかどうかを評価すること。
• 新しいクラスが段階的に出現する継続的学習のシナリオを想定し、長期間にわたる学習の設定でモデルの性能を分析すること。
• MEバイアスが先天的であるか学習されたものであるかを説明する認知発達理論と照らし合わせ、人間の学習と整合性があるかどうかを評価すること。

実験結果

リサーチクエスチョン

• RQ1 バニラ型の深層ニューラルネットワークは、ワンショット語彙学習の過程で相互排他的性（ME）バイアスを示すか？
• RQ2 標準的なニューラルネットワークアーキテクチャと訓練方式は、新しいクラスの割り当てを要する継続的学習の場面で、どのように動作するか？
• RQ3 相互排他的性バイアスは、物体認識および機械翻訳タスクにおけるサンプル効率の向上に有益か？
• RQ4 ニューラルネットワークは、タスクの要請に応じてMEバイアスを自発的に適用または抑制できるように設計できるか？
• RQ5 ニューラルネットワークで観察された反MEバイアスは、レアまたは分布外の例の学習にどのような影響を及えるか？

主な発見

• バニラ型の深層ニューラルネットワークは、相互排他的性（ME）バイアスを示さず、むしろ強い反MEバイアスを示しており、新しい入力を既存の出力に優先的にマッピングする。
• ドロップアウトや重み減衰といった一般的な正則化子でさえも、ニューラルネットワークがMEバイアスを獲得または採用できないことから、標準的な訓練下ではMEバイアスが学習されたインダクティブバイアスではないことが示唆される。
• 反MEバイアスは、新しいクラスが頻繁に出現する継続的学習の場面で、モデルが常に新しいラベルを既存のカテゴリに誤って割り当てるため、性能が著しく低下する。
• ME推論の欠如は、特に少サンプル学習やゼロショット学習の場面で、サンプル効率性を損なう。この場合、モデルは珍しいまたは未観測のクラスに一般化しにくい。
• 合成MEタスクで訓練されたニューラルネットワークは、MEを学習できるが、それは明示的にそれらの目的で設計された場合に限る。これは汎用モデルには拡張されない。
• 結果から、現在の深層学習モデルが、新しい刺激が新しい参照対象物に優先的に関連づけられるべきという現実世界の学習の構造的仮定と一致していないことが示唆される。