[論文レビュー] Measuring Compositional Generalization: A Comprehensive Method on Realistic Data

Daniel Keysers, Nathanael Schärli+12 more|arXiv (Cornell University)|Dec 20, 2019

Topic Modeling参考文献 35被引用数 55

ひとこと要約

要約: 本研究は分布ベースの構成性評価（DBCA）を定義し、構成一般化を測定するCFQデータセットを構築し、トレインとテスト間の複合分岐が大きくなるほど最先端モデルが苦戦することを示し、複合分岐が精度を予測する。

ABSTRACT

State-of-the-art machine learning methods exhibit limited compositional generalization. At the same time, there is a lack of realistic benchmarks that comprehensively measure this ability, which makes it challenging to find and evaluate improvements. We introduce a novel method to systematically construct such benchmarks by maximizing compound divergence while guaranteeing a small atom divergence between train and test sets, and we quantitatively compare this method to other approaches for creating compositional generalization benchmarks. We present a large and realistic natural language question answering dataset that is constructed according to this method, and we use it to analyze the compositional generalization ability of three machine learning architectures. We find that they fail to generalize compositionally and that there is a surprisingly strong negative correlation between compound divergence and accuracy. We also demonstrate how our method can be used to create new compositionality benchmarks on top of the existing SCAN dataset, which confirms these findings.

研究の動機と目的

• 異なる分布からの訓練/テスト分割を用いて構成一般化を評価する定量的フレームワークを定義する。
• 原子分布を類似のまま保ちながら複合分岐を最大化するよう設計された大規模で現実的な NLQ-to-SPARQL データセット（CFQ）を構築する。
• 構成的に難しい分割におけるベースラインアーキテクチャを比較し、複合分岐と性能の関係を分析する。
• SCAN のような既存データセット上に新たな構成性ベンチマークを生成する方法論を提供する。
• （任意）CFQとDBCA手法がタスク横断的な構成性分析を促進することを示す。

提案手法

• 原子（ルール）と複合体（ルール適用）を用いて分割品質を定量化するDistribution-Based Compositionality Assessment（DBCA）を導入する。
• 複合分岐 D_C と原子分岐 D_A を、原子のBhattacharyyaベースの係数と、複合体には低重み付きバージョンを用いた重み付き部分グラフ分布で定義する。
• ルールベース生成、ルール適用の有向無相関グラフ（DAG）、Freebase MIDs への自動的な grounding を備えた大規模NLQ-to-SPARQLデータセットCFQを構築する。
• 反復的な貪欲アルゴリズムを用いて、低 D_A で最大 D_C を持つ訓練/テスト分割（MCD splits）を作成する。
• CFQ および SCAN の分割において、3つのアーキテクチャ（LSTM+attention、Transformer、Universal Transformer）を比較し、複合分岐の程度が分割間で異なる状況を評価する。
• 複合分岐と精度の相関を分析し、難易度の高い分割でエラー分析を行う。

実験結果

リサーチクエスチョン

• RQ1 構成一般化を評価するデータセット分割の適正さを定量的に測るにはどうすればよいか？
• RQ2 原子分布を似せたまま、複合分岐を最大化する現実的な NLU データセットと分割を構築できるか？
• RQ3 DBCA ベースの分割で評価した場合、現実的なデータセット上で標準的なニューラルアーキテクチャは構成的に一般化できるか？
• RQ4 分割間で複合分岐とモデルの精度との予測的関係はあるか？
• RQ5 DBCA アプローチを用いて CFQ および SCAN 以外の追加的な構成性ベンチマークを生成できるか？

主な発見

Dataset	Split Method	LSTM+attention	Transformer	Universal Transformer
CFQ	Random	97.4 ±0.3	98.5 ±0.2	98.0 ±0.3
CFQ	MCD	14.9 ±1.1	17.9 ±0.9	18.9 ±1.4
SCAN	Random	99.9 ±2.7	100.0 ±0.0	99.9 ±0.2
SCAN	MCD	6.1 ±2.2	1.1 ±0.5	1.2 ±0.7

• ベースラインモデル（LSTM+attention、Transformer、Universal Transformer）はランダム分割で 95% 以上の精度を達成するが、CFQ および SCAN の MCD 分割ではおおむね 20% 未満まで低下して性能が大きく崩れる。
• 複合分岐と精度の間にはアーキテクチャ全体で強い負の相関が見られ、訓練とテストで複合が異なると構成的に一般化できなくなることを示している。
• CFQ には 239,357 問題と 228,149 のユニーククエリが含まれ、構成分析を可能にする豊富な注釈があり、CFQ は他の意味解析データセットよりも多様なクエリパターンを示す。
• MCD 分割は同程度の原子分岐でより高い複合分岐を達成する傾向があり、構成一般化の難易度を挑戦的にするこの手法の有効性を裏付けている。
• SC N では複合分岐が精度を予測するのは同様だが、中程度の分岐ではほぼ 100% に近い精度に到達できる場合があり、CFQ と SCAN のタスクの難易度の違いを反映している。
• エラー分析では、長いシーケンスで特に節や形容詞の省略が原因となる誤りが多く、構成的な構造を表現する際の特定の失敗モードを示している。