[論文レビュー] Human few-shot learning of compositional instructions

Brenden M. Lake, Tal Linzen+1 more|arXiv (Cornell University)|Jan 14, 2019

Speech and dialogue systems参考文献 28被引用数 27

ひとこと要約

本論文は、擬似語と色付きの円の出力を用いた一連のシーケンス・ツー・シーケンス（seq2seq）フレームワークを用いて、人間の構成的命令の少数例学習を調査している。参加者はたった2つの例からのみ新しい機能的概念を学習し、新しい入力へと体系的に一般化した。また、相互排他的性、一対一対応、象徴的連結という3つの主要な帰納的バイアスを示し、最先端の再帰的ニューラルネットワークが再現できない強固な構成的性を実現した。

ABSTRACT

People learn in fast and flexible ways that have not been emulated by machines. Once a person learns a new verb "dax," he or she can effortlessly understand how to "dax twice," "walk and dax," or "dax vigorously." There have been striking recent improvements in machine learning for natural language processing, yet the best algorithms require vast amounts of experience and struggle to generalize new concepts in compositional ways. To better understand these distinctively human abilities, we study the compositional skills of people through language-like instruction learning tasks. Our results show that people can learn and use novel functional concepts from very few examples (few-shot learning), successfully applying familiar functions to novel inputs. People can also compose concepts in complex ways that go beyond the provided demonstrations. Two additional experiments examined the assumptions and inductive biases that people make when solving these tasks, revealing three biases: mutual exclusivity, one-to-one mappings, and iconic concatenation. We discuss the implications for cognitive modeling and the potential for building machines with more human-like language learning capabilities.

研究の動機と目的

• 人間が非常に少ない例から新しい構成的言語的命令をどのように学習し一般化するかを調査すること。
• 言語学習における人間らしく体系的な構成的性を可能にする認知的帰納的バイアスを特定すること。
• 現代の再帰的ニューラルネットワークと比較して、人間が少数例のseq2seq命令学習タスクで示すパフォーマンスを調査すること。
• 人間の学習者が最小限のデータから一般化する際、一貫性があり構造的な仮定（例：相互排他的性、象徴的連結）を適用しているかどうかを検討すること。
• これらの人的バイアスが、より人間らしく一般化可能な機械学習モデルの構築に与える示唆を探索すること。

提案手法

• 参加者は、擬似語の入力シーケンスが色付きの円の出力シーケンスに対応する少数例のseq2seqタスクを訓練した。
• 自然言語の知識に依存しないように設計され、新規の記号と抽象的な出力を用いて構成的学習を孤立させる。
• 制御された擬似語の割り当てと参加者間でのランダム化された対応関係を用いて、一般化可能性を確保した。
• 訓練中に見られなかった新しい構成、例えばより長いシーケンスや既知の要素の新しい組み合わせを含むテストを行った。
• 誤りと反応パターンの分析を通じて、相互排他的性、一対一対応、象徴的連結といった帰納的バイアスの背後にあるメカニズムを推定した。
• 最終実験では、これらのバイアスがデータ露出以前から存在していたかをテストし、学習における事前仮定としての役割を確認した。

実験結果

リサーチクエスチョン

• RQ1 人間は2つの訓練例からのみ、新しい構成的命令を学習し一般化できるか？
• RQ2 人間の少数例seq2seq命令学習タスクにおける一般化の背後にある認知的帰納的バイアスは何か？
• RQ3 同じタスクにおいて、人間のパフォーマンスと帰納的バイアスは、最先端の再帰的ニューラルネットワークと比べてどう異なるか？
• RQ4 相互排他的性、一対一対応、象徴的連結が、人間の新しい言語的命令類似物の解釈にどの程度影響を及ぼしているか？
• RQ5 人間が学習したこれらのバイアスは、seq2seqタスクにおける機械学習モデルの一般化を向上させるために活用可能か？

主な発見

• 参加者は、訓練時に見られなかった構成（例：'dax'を'daxを2回'に適用）へと新しい命令を体系的に一般化した。これは体系的な構成的性を示している。
• 79.3％の参加者が象徴的連結バイアスに従い、入力語に一貫した出力シーケンスを割り当てつつ、入力順序を保持した。
• 象徴的連結に従った参加者の95.7％が相互排他的性にも従い、各入力語に固有の出力シーケンスを割り当てた。
• タスクが極めて不確定であるにもかかわらず、58.6％の参加者が3つの帰納的バイアス（相互排他的性、一対一対応、象徴的連結）すべてに一致する応答を示した。
• 一方、標準的な再帰的ニューラルネットワークは、新しい構成（例：訓練時に'jump'しか見ていなかったが'twice'を含む'jump twice'）への一般化に失敗した。これは現在のディープラーニングモデルの主要な限界を示している。
• これらの帰納的バイアスはデータから学習されたものではなく、露出以前から存在していた。これは、人間の言語学習における強い事前制約としての役割を示唆している。