[論文レビュー] Still not systematic after all these years: On the compositional skills of sequence-to-sequence recurrent networks

Brenden M. Lake, Marco Baroni|arXiv (Cornell University)|Oct 31, 2017

Natural Language Processing Techniques被引用数 51

ひとこと要約

本論文は、系列対系列RNNにおける構成的一般化を評価するためのSCANドメインを導入し、類似した命令では強力な性能を示すものの、新しい動詞と修飾語を組み合わせるような体系的な一般化が求められる場面ではRNNが著しく失敗することを示した。これはニューラルネットワークの体系的一般化における根本的な制限を浮き彫りにしている。研究結果から、ニューラルモデルが膨大な訓練データを必要とする理由の一つとして、体系的一般化の欠如が関係している可能性が示唆される。

ABSTRACT

Humans can understand and produce new utterances effortlessly, thanks to their systematic compositional skills. Once a person learns the meaning of a new verb dax, he or she can immediately understand the meaning of twice or sing and dax. In this paper, we introduce the SCAN domain, consisting of a set of simple compositional navigation commands paired with the corresponding action sequences. We then test the zero-shot generalization capabilities of a variety of recurrent neural networks (RNNs) trained on SCAN with sequence-to-sequence methods. We find that RNNs can generalize well when the differences between training and test commands are small, so that they can apply mix-and-match strategies to solve the task. However, when generalization requires systematic compositional skills (as in the dax example above), RNNs fail spectacularly. We conclude with a proof-of-concept experiment in neural machine translation, supporting the conjecture that lack of systematicity is an important factor explaining why neural networks need very large training sets.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）が、人間の言語理解に類似した体系的構成的一般化を学習できるかどうかを調査すること。
• 既知の要素の新しい組み合わせが要求される状況における、系列対系列RNNのゼロショット一般化における制限を特定すること。
• 体系的一般化の欠如が、ニューラルモデルにおける大規模な訓練データの必要性の主な理由であるかどうかを評価すること。
• 構成的一般化を他の言語的複雑さから分離できるベンチマークドメイン—SCAN—を提供すること。

提案手法

• 著者らは、構成的命令とそれに対応する行動シーケンスを備えた合成的ナビゲーション環境としてのSCANドメインを導入した。
• 彼らは、SCANドメインの多様な訓練命令に対して、さまざまな系列対系列RNNアーキテクチャを訓練した。
• 一般化は、既知の要素の未観測の組み合わせ、例えば新しい動詞と修飾語のペアに対してゼロショットテストを用いて評価された。
• モデルのパフォーマンスは、単純な命令の変種と、複雑な構成的一般化タスクの両方で測定された。
• 体系的性の制約がデータ効率に与える影響をテストするために、ニューラル機械翻訳における概念実証実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 RNNは、新しい動詞に頻度修飾語を組み合わせるような、既知の言語的要素の未観測の組み合わせに対して、体系的に一般化できるか？
• RQ2 テストセットにおける構成的構造の複雑さに応じて、ゼロショット一般化のパフォーマンスはどのように変化するか？
• RQ3 RNNの体系的一般化の失敗が、そのモデルが大規模な訓練データに依存する理由をどの程度説明できるか？
• RQ4 体系的一般化の欠如は、現実世界のニューラル機械翻訳タスクにおいても同様に顕在化するか？

主な発見

• RNNは訓練命令の単純な変種に対して高いパフォーマンスを示しており、効果的なパターンマッチングやミックスアンドマッチ戦略が機能していることを示している。
• RNNは、『twice dax』のような、『dax』が新しい動詞であるような、体系的構成を要するゼロショット一般化タスクで完全に失敗している。
• 失敗の原因はモデル容量やアーキテクチャの制限ではなく、成分の意味を新しい方法で合成できないことに起因している。
• ニューラル機械翻訳においては、限られたデータで訓練されたモデルが体系的に一般化できず、体系的性がデータ効率の主な障壁であるという仮説を支持している。