[論文レビュー] Measuring Compositional Generalization: A Comprehensive Method on\n Realistic Data

Daniel Keysers, Nathanael Schärli+12 more|arXiv (Cornell University)|Dec 20, 2019

Topic Modeling参考文献 39被引用数 141

ひとこと要約

本論文は分布ベースの構成可能性評価（DBCA）を定式化し、構成的一般化を測定するためのCFQデータセットを構築し、訓練/テスト間の複合分岐が増すと標準モデルの性能が低下することを示し、原子分布は類似したままに保たれる。

ABSTRACT

State-of-the-art machine learning methods exhibit limited compositional\ngeneralization. At the same time, there is a lack of realistic benchmarks that\ncomprehensively measure this ability, which makes it challenging to find and\nevaluate improvements. We introduce a novel method to systematically construct\nsuch benchmarks by maximizing compound divergence while guaranteeing a small\natom divergence between train and test sets, and we quantitatively compare this\nmethod to other approaches for creating compositional generalization\nbenchmarks. We present a large and realistic natural language question\nanswering dataset that is constructed according to this method, and we use it\nto analyze the compositional generalization ability of three machine learning\narchitectures. We find that they fail to generalize compositionally and that\nthere is a surprisingly strong negative correlation between compound divergence\nand accuracy. We also demonstrate how our method can be used to create new\ncompositionality benchmarks on top of the existing SCAN dataset, which confirms\nthese findings.\n

研究の動機と目的

• 訓練/テストの分割を用いて構成分岐を最大化しつつ原子分布を類似に保つことで、構成一般化を評価する principled な方法を定義する。
• 構成性評価のために設計された大規模な現実的NLQ→SPARQLデータセットCFQを導入する。
• CFQとSCANのデータセット間で構成性スプリットを構築・比較するためのフレームワークを提供する。
• これらのスプリット上でベースラインのニューラルアーキテクチャを分析し、構成的一般化能力を定量化する。

提案手法

• DBCA（Distribution-Based Compositionality Assessment）を導入し、訓練セットとテストセット間の原子と化合物の分岐を定量化する。
• 各例を原子（規則）と化合物（規則適用）から構成されると表現し、加重サブグラフ分布と Chernoff係数（原子にはBhattacharyya、化合物には0.1パラメータ）を用いて分岐を計算する。
• CFQは自動的で規則ベースの生成と、原子/化合物を追跡する明示的な規則適用のDAGを用いて構築する。
• ターゲットとなる化合物分岐と制約された原子分岐（≤0.02）を満たす訓練/テスト分割を反復的な貪欲アルゴリズムで作成する。
• CFQとSCANの間で、出力/入力の長さやパターンベースの分割など、他の構成的スプリットと比較し、分解を分析する。
• 3つのベースライン（LSTM+attention、Transformer、Universal Transformer）をCFQとSCAN上で、さまざまな分岐ベースの分割の下で評価する。

実験結果

リサーチクエスチョン

• RQ1 構成的一般化を測定するスプリットの適合性をどう定量化するか（DBCAの原理）？
• RQ2 化合物分岐を最大化しつつ原子分岐を低く保つことがモデルの性能にどのような影響を与えるか？
• RQ3 最先端のアーキテクチャはCFQやSCANのような現実的なベンチマークで構成的一般化できるか？
• RQ4 CFQと提案された分割は、意味解析とナビゲーションタスクにおけるニューラルモデルの頑健性のギャップを明らかにできるか？

主な発見

Dataset	Split Method	LSTM+attention	Transformer	Universal Transformer
CFQ	Random	97.4 ±0.3	98.5 ±0.2	98.0 ±0.3
CFQ	MCD	14.9 ±1.1	17.9 ±0.9	18.9 ±1.4
SCAN	Random	99.9 ±2.7	100.0 ±0.0	99.9 ±0.2
SCAN	MCD	6.1 ±2.2	1.1 ±0.5	1.2 ±0.7

• ベースラインのアーキテクチャ（LSTM+attention、Transformer、Universal Transformer）はCFQ MCD分割で構成的に一般化できない（平均正解率が< 20%）。
• 化合物分岐と正解率の間に全モデル・全タスクで強い負の相関がある。
• 最大の化合物分岐だが原子分岐が低いCFQとSCANの分割は、ランダム分割や他の伝統的分割より難易度が高い。
• CFQではランダム分割で>95%の正解率だが、MCD分割では全モデルで大幅に低下する（例：約14.9–18.9%対約97–99%）。
• 化合物分岐はテスト精度の強力な予測因子であり、単純な長さベースやパターンベースの分割基準よりも優先度が高い。
• CFQは以前の意味解析データセットよりも豊かな構成注釈とより多様なクエリパターンを提供し、堅牢な構成性分析を可能にしている。