[論文レビュー] Question Decomposition with Dependency Graphs

Matan Hasson, Jonathan Berant|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本稿では、質問の意味的表現（QDMR）を質問トークン間のラベル付き関係としてモデル化する、依存グラフ（DG）に基づくアプローチを提案する。非自己回帰的グラフパーサーを導入することで、seq2seqモデルと比較して16倍高速な推論とより優れたサンプル効率を達成する。一方、補助的DG監視を用いたseq2seqモデルは、長く複雑な質問における一般化性能と性能を向上させる。

ABSTRACT

QDMR is a meaning representation for complex questions, which decomposes questions into a sequence of atomic steps. While state-of-the-art QDMR parsers use the common sequence-to-sequence (seq2seq) approach, a QDMR structure fundamentally describes labeled relations between spans in the input question, and thus dependency-based approaches seem appropriate for this task. In this work, we present a QDMR parser that is based on dependency graphs (DGs), where nodes in the graph are words and edges describe logical relations that correspond to the different computation steps. We propose (a) a non-autoregressive graph parser, where all graph edges are computed simultaneously, and (b) a seq2seq parser that uses gold graph as auxiliary supervision. We find that a graph parser leads to a moderate reduction in performance (0.47 to 0.44), but to a 16x speed-up in inference time due to the non-autoregressive nature of the parser, and to improved sample complexity compared to a seq2seq model. Second, a seq2seq model trained with auxiliary graph supervision has better generalization to new domains compared to a seq2seq model, and also performs better on questions with long sequences of computation steps.

研究の動機と目的

• 自己回帰的seq2seqモデルのQDMRパーサーにおける限界を克服するため、QDMRを質問トークン上の依存グラフとしてモデル化すること。
• 非自己回帰的グラフパーサーを導入することで、推論速度とサンプル複雑性を向上させること。
• グラフ監視を補助学習信号として用いることで、seq2seqモデルのドメイン外データおよび長時間の推論連鎖への一般化性能と性能を向上させること。
• 人間の判断とよりよく一致する中間論理形式に基づく新しい評価指標LF-EMを提案すること。

提案手法

• 形式的演算子と引数を用いて、正解QDMR構造を中間論理形式（LF）に変換する。
• LFを質問トークンに投影し、ノードがトークンで、エッジがラベル付き論理的関係を表す正解依存グラフ（DG）を生成する。
• すべてのラベル付きエッジを同時に予測する非自己回帰的グラフパーサーを訓練する。自己回帰的デコードを回避する。
• エンコーダー表現から正解DGを予測するための補助損失を用いて、seq2seqモデルを訓練する。関係に注意を向ける表現を捉えるためのLatent-RATエンコーダーを用いる。
• 構造的な中間LF表現を用いて、人間の判断とよりよく一致する新しい評価指標LF-EMを計算する。
• 長距離依存性や構造的複雑性のモデリングを向上させるために、BERTベースのエンコーダーに関係に注意を向けるアテンション（Latent-RAT）を適用する。

実験結果

リサーチクエスチョン

• RQ1 QDMRを質問トークン上の依存グラフとしてモデル化することで、標準的なseq2seqアプローチと比較してパーサー性能と効率が向上するか？
• RQ2 非自己回帰的グラフパーサーは、自己回帰的seq2seqモデルと比較して、より高速な推論とより優れたサンプル複雑性を達成するか？
• RQ3 正解依存グラフからの補助的監視は、seq2seqモデルのドメイン外データおよび長時間の推論連鎖への一般化性能を向上させるか？
• RQ4 提案されたLF-EM指標は、従来のQDMR評価指標と比較して、人間の判断をよりよく反映するか？

主な発見

• 非自己回帰的グラフパーサーはLF-EMを0.47から0.44に低下させるが、seq2seqモデルと比較して推論時間が16倍速くなった。
• グラフパーサーはより優れたサンプル複雑性を示し、学習データの10％でのみ訓練された場合でも、seq2seqモデルを上回った。
• 補助DG監視を用いたseq2seqモデルは、全データセットで同程度の性能（0.471 LF-EM）を達成したが、新規ドメインへの一般化性能が顕著に向上した。
• Latent-RATモデルは、5ステップ以上の計算ステップを含む質問において、標準的なseq2seqモデルを上回った。
• CopyNet+BERTでは70％、Latent-RATでは73.3％の誤りが、予測は正しいがLF-EMが捉えられていないケースであった。これは、現在のモデルが非常に正確であるが、評価が困難であることを示している。
• 新しいLF-EM指標は、従来の指標と比較して人間の判断とよりよく相関しており、特に同等の、拡張された、または冗長だが正しい分解を捉える点で優れている。