[論文レビュー] Benchmarking Compositionality with Formal Languages

Josef Valvoda, Naomi Saphra+3 more|arXiv (Cornell University)|Aug 17, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、形式的言語を用いて、ニューラル系列対系列モデルが構成的文書変換を学習できるかどうかを調査する。決定的有限状態トランスダクタ（SFST）からサンプリングすることで、モデルは完全に一般化するか、まったく失敗するかの二択であり、遷移カバレッジ（1つの遷移あたり約400例必要）が学習可能性の主要な予測要因となることが示されたが、SCANデータセットのような例外から、完全な理論を得るにはより複雑な形式的体系が必要となる可能性が示唆される。

ABSTRACT

Recombining known primitive concepts into larger novel combinations is a quintessentially human cognitive capability. Whether large neural models in NLP can acquire this ability while learning from data is an open question. In this paper, we investigate this problem from the perspective of formal languages. We use deterministic finite-state transducers to make an unbounded number of datasets with controllable properties governing compositionality. By randomly sampling over many transducers, we explore which of their properties contribute to learnability of a compositional relation by a neural network. We find that the models either learn the relations completely or not at all. The key is transition coverage, setting a soft learnability limit at 400 examples per transition.

研究の動機と目的

• ニューラル系列対系列モデルが、文字列対文字列変換において構成的一般化を学習できるかどうかを調査すること。
• 形式的言語の性質が、ニューラルネットワークによる系統的関係の学習可能性を決定づける役割を評価すること。
• モデルの一般化行動を予測する信頼性のある、データ駆動の複雑さの指標を特定すること。
• 有限状態トランスダクタを用いて、既存のベンチマーク（例：SCAN）の背後にある形式的構造を分析することで、それらを挑戦すること。
• サブレギュラー言語を超える高レベルの形式的体系が、より一貫性のある学習可能性の予測をもたらすかどうかを検討すること。

提案手法

• 著者たちは、制御可能な文字列対文字列変換タスクの大量で多様なセットを生成するために、決定的有限状態トランスダクタ（SFST）を用いる。
• 2,800個のSFSTをランダムにサンプリングし、それぞれのトランスダクタから入力-出力ペアをサンプリングしてトレーニングデータセットを生成する。
• ニューラル系列対系列モデルをこれらのデータセットでトレーニングし、構成的一般化の能力を評価する。
• 分析の主な指標は遷移カバレッジ（SFST内の各遷移を通過するトレーニング例の数）である。
• 構造的複雑さとカバレッジ水準が異なるSFST間でモデルのパフォーマンスを比較する。
• SCANデータセットを逆工程解析し、SFSTとして再構築することで、遷移カバレッジの予測力が実世界のベンチマークでどの程度有効であるかをテストする。

実験結果

リサーチクエスチョン

• RQ1 決定的有限状態トランスダクタによって生成された文字列対文字列変換において、ニューラル系列対系列モデルは完全な構成的一般化を達成できるか？
• RQ2 SFSTのどの形式的言語的性質が、ニューラルモデルが特定の変換を学習するかどうかを最も強く予測するか？
• RQ3 1つの遷移あたりのトレーニング例の数として定義される遷移カバレッジは、モデルの一般化を信頼性高く予測できるか？
• RQ4 SCANデータセットは、低遷移カバレッジであるにもかかわらず、なぜニューラルモデルによって学習可能なのか？
• RQ5 文脈自由文法のような高レベルの形式的体系に基づく、より洗練された複雑さの指標が、サブレギュラー水準の測定よりも、モデルの学習可能性をよりよく予測できるか？

主な発見

• ニューラル系列対系列モデルは一般化において鋭い閾値を示す：完全に一般化するか、まったく失敗するかの二択であり、部分的な成功は見られない。
• ランダムに抽出されたSFSTの全般にわたり、1つの遷移あたり約400例の遷移カバレッジが、成功した一般化の強力な予測要因として浮き彫りになった。
• SCANデータセットは遷移カバレッジの法則の例外であり、低カバレッジであるにもかかわらず学習可能であるため、より複雑な形式的体系で記述されるべきである可能性を示唆している。
• アテンション機構を追加すると、モデルは複雑な正則な文字列コピー関数を確実に学習でき、そのアテンションパターンは下位のトランスダクタの導出を模倣する。
• 結果から、サブレギュラー水準の複雑さの指標（例：遷移カバレッジ）は、すべての状況で学習可能性を予測するのに不十分であり、とくに高レベルの文法的構造が関与する場合には顕著である。
• 本研究は、将来的にはチョムスキー階層の高いレベルの形式的体系を探索し、モデルの学習行動をよりよく反映するネイティブな複雑さの指標を同定すべきであると示唆している。