[論文レビュー] Improving Systematic Generalization Through Modularity and Augmentation

Laura Ruis, Brenden M. Lake|arXiv (Cornell University)|Feb 22, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、モジュラー構造と構造的データ拡張を組み合わせることで、意味的言語理解のためのニューラルネットワークにおける体系的一般化を改善する。モジュラリティのおかげで、モデルは未知の副詞動詞の組み合わせに一般化できることを示しており、gSCANベンチマークで正確一致スコアがそれぞれ70%および40%向上した。性能は、特にターゲットの副詞と類似した性質を持つデータの質に強く依存しており、量よりも質が重要であることが判明した。

ABSTRACT

Systematic generalization is the ability to combine known parts into novel meaning; an important aspect of efficient human learning, but a weakness of neural network learning. In this work, we investigate how two well-known modeling principles -- modularity and data augmentation -- affect systematic generalization of neural networks in grounded language learning. We analyze how large the vocabulary needs to be to achieve systematic generalization and how similar the augmented data needs to be to the problem at hand. Our findings show that even in the controlled setting of a synthetic benchmark, achieving systematic generalization remains very difficult. After training on an augmented dataset with almost forty times more adverbs than the original problem, a non-modular baseline is not able to systematically generalize to a novel combination of a known verb and adverb. When separating the task into cognitive processes like perception and navigation, a modular neural network is able to utilize the augmented data and generalize more systematically, achieving 70% and 40% exact match increase over state-of-the-art on two gSCAN tests that have not previously been improved. We hope that this work gives insight into the drivers of systematic generalization, and what we still need to improve for neural networks to learn more like humans do.

研究の動機と目的

• 行動シーケンスを変換する副詞-動詞の組み合わせに関する体系的一般化の課題に取り組むこと。
• モジュラリティとデータ拡張が、意味的言語タスクにおける既知の言語的要素の未知の組み合わせへの一般化を改善できるかどうかを調査すること。
• 語彙サイズと副詞の類似性が、未知の副詞-動詞ペアに対する転移学習を可能にする役割を特定すること。
• 推論された副詞行動のルールに基づく構造的データ拡張が、体系的一般化タスクにおけるモデル性能に与える影響を評価すること。
• ニューラルネットワークが構成的言語理解において人間のように一般化できるようにするためのインダクティブバイアスとデータ品質要因に関する知見を提供すること。

提案手法

• 視覚、ナビゲーション、推論の3つのモジュールに言語理解タスクを分解し、モジュラーニューラルネットワークアーキテクチャを用いる。
• 副詞の行動様式を支配するルール（例：'慎重に'は特定の回転パターンを要する）を推論し、そのルールに基づいて合成トレーニング例を生成する構造的データ拡張技術を設計する。
• 元のデータセットに比べて最大40倍の例を含む拡張データセットを生成し、行動的効果が類似した副詞タイプに焦点を当てる。
• 非モジュラーおよびモジュラーなモデルを、異なる副詞タイプや類似度レベルを含む、拡張データのさまざまなサブセットで訓練する。
• gSCANベンチマーク上で、特に「サイクリングしながら慎重に」や「引きながら回転する」のような未知の副詞-動詞組み合わせへの少データ一般化性能を評価する。
• アブレーションスタディを用いて、語彙サイズ、副詞類似度、データ分布が一般化性能に与える影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャにおけるモジュラリティが、意味的言語タスクにおける副詞-動詞の組み合わせの体系的一般化を改善できるか？
• RQ2 副詞の行動ルールに基づく構造的データ拡張は、単なるデータ拡張に比べて、より良い一般化を実現できるか？
• RQ3 拡張された副詞とテスト用のターゲット副詞との類似度が、転移性能にどのように影響するか？
• RQ4 トレーニング例の数が十分に多いだけで一般化性能が向上するのか、それとも行動的類似性というデータ品質がより重要なのか？
• RQ5 多様ではあるが行動的性質が異なる副詞で学習した場合、モデルがどれほど新しい組み合わせに一般化できるか？

主な発見

• モジュラーなニューラルネットワークアーキテクチャは、未知の副詞-動詞の組み合わせを含む2つのgSCANテストで、最先端の手法に比べて正確一致スコアをそれぞれ70%および40%向上させた。
• 非モジュラーなモデルを、元のデータの約40倍の例（多様な副詞を含む）で学習させても、「サイクリングしながら慎重に」や「引きながら回転する」といった組み合わせへの体系的一般化は達成できなかった。
• 行動的ルールが類似した副詞（例：同じ回転パターン）を1つだけ追加したことで、「慎重に」テストスプリットの性能が著しく向上した。これは、最近接探索的推論が機能している可能性を示唆している。
• 異なる行動的クラスの副詞（例：'慎重に'ではなく'回転しながら'）を追加すると、「慎重に」スプリットでの性能が低下した。これは、不適切なデータが一般化性能を損なう可能性があることを示している。
• ターゲットの副詞タイプ（例：'慎重に'）の例数が10例を過ぎると、その効果は次第に減少し、データ量だけでは不十分であることが示された。
• データの質、特にターゲット副詞と類似した行動的性質を持つこと——これが、体系的一般化を可能にするために、量よりも重要であることが判明した。