[論文レビュー] QADiscourse -- Discourse Relations as QA Pairs: Representation, Crowdsourcing and Baselines

Valentina Pyatkin, Ayal Klein+2 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 39被引用数 4

ひとこと要約

この論文は、会話関係を質問・回答（QA）ペアとして表現することで、スケーラブルでクラウドソーシング可能な会話関係のアノテーションを可能にする、QADiscourseという新しいフレームワークを紹介する。会話関係を、関係の種類を示す質問の前置きを含むQAペアとして定式化することで、著者たちは約9,000の文から成る、16,600ペアを超える大規模なオープンソースデータセットを収集し、会話に配慮した質問と回答を予測するためのベースラインモデルを確立した。BERTベースのパイプラインを用い、ポインタジェネレータによる質問生成と微調整されたSQuADによる回答予測を組み合わせた結果、テストセットで83.69%のF1スコアを達成した。

ABSTRACT

Discourse relations describe how two propositions relate to one another, and identifying them automatically is an integral part of natural language understanding. However, annotating discourse relations typically requires expert annotators. Recently, different semantic aspects of a sentence have been represented and crowd-sourced via question-and-answer (QA) pairs. This paper proposes a novel representation of discourse relations as QA pairs, which in turn allows us to crowd-source wide-coverage data annotated with discourse relations, via an intuitively appealing interface for composing such questions and answers. Based on our proposed representation, we collect a novel and wide-coverage QADiscourse dataset, and present baseline algorithms for predicting QADiscourse relations.

研究の動機と目的

• 専門家によるアノテーションが高コストでスケーラビリティに欠ける会話関係データセットの課題を解決するため、直感的なQAペアを用いたクラウドソーシングによるアノテーションを可能にすること。
• 質問の前置きが関係の意味を符号化するQAペアとしての会話関係の表現を構築し、非専門家が複雑な関係をアノテートできるようにすること。
• 自然言語の文から得た、広範囲にわたるオープンソースの会話に配慮したQAペアデータセットを収集すること。
• 入力文から質問（関係の意味を含む）と回答（会話単位）を同時に予測するためのベースラインモデルを確立すること。

提案手法

• 会話関係をQAペアとして表現し、質問の前置きが関係の意味（例：『なぜ？』は原因）を符号化するようにし、回答はターゲットとなる会話単位とする。
• 非専門家が関係の意味と会話単位の整合性に注目することで、意味のあるQAペアを生成できるようにするクラウドソーシングインターフェースを設計する。
• BERTエンコーディングを用いたポインタジェネレータモデルを用い、文のスパンと関係の前置きから質問本文を生成することで、語のコピーと生成を可能にする。
• SQuADとQADiscourseデータの一部を微調整して、ゴールの質問から回答スパンを予測するBERTモデルを微調整する。
• 2段階のパイプラインを適用：まず質問を生成し、その後で回答を予測する。クラスの不均衡を補うために損失関数を重み付けする。
• UQA（ラベルなしQAアライメント）とLQA（ラベル付き正答率）の指標を用いて評価し、関係の意味予測のためのプリフィックス正答率も含む。

実験結果

リサーチクエスチョン

• RQ1 関係の意味を符号化する質問の前置きを含むQAペア形式で、会話関係を効果的に表現し、クラウドソーシング可能であるか？
• RQ2 このQAベースのインターフェースを用いることで、非専門家アノテーターが信頼性の高い会話に配慮したQAペアを生成できるか？
• RQ3 ニューラルモデルは、生の文から会話に配慮した質問と回答を同時に予測するのにどの程度効果的か？
• RQ4 従来のアノテーション方式と比較して、提案されたQAベースの表現は、会話関係の意味的・構造的ニュアンスをどの程度保持しているか？
• RQ5 QADiscourseフレームワークにおいて、質問のプリフィックスと回答スパンの両方を予測するベースラインモデルの性能限界はどの程度か？

主な発見

• QADiscourseデータセットには、約9,000の文から成る16,600ペアを超えるQAペアが収集されており、広範囲にわたるオープンソースの会話関係アノテーションリソースとしての特徴を持つ。
• 完全なパイプラインベースラインは、UQA評価を用いてテストセットで83.69%のF1スコアを達成し、エンドツーエンドの会話QA予測の可能性を示した。
• 関係の意味予測のプリフィックス正答率は、テストセットで49.94%であった。これは、意味分類の分野で改善の余地が大きいことを示している。
• ゴールの質問が与えられた場合、回答スパン抽出の正答率はテストセットで72.3%に達し、スパン抽出において優れた性能を示した。
• 定性的な分析では、サンプル化された予測の44%が正しく評価された。モデルは未学習の動詞に対しても一般化しやすく、非連続なスパンから質問を形成する能力も示した。
• モデルは8件の文法的に不正だが意味的に妥当なQAを生成し、8件の文法的には正しいが意味のないQAも生成した。これは、文の自然さと意味の保持という課題を浮き彫りにした。