[論文レビュー] Relation Classification as Two-way Span-Prediction

Amir Cohen, Shachar Rosenman+1 more|arXiv (Cornell University)|Oct 9, 2020

Topic Modeling参考文献 20被引用数 14

ひとこと要約

本稿では、関係分類のための新規な二方向スパン予測フレームワークを提案する。各関係を質問-回答ペアとして扱い、関係に関連するエンティティに注目を向けることで、モデルの注目を強化する。二方向テンプレートを用いて関係分類をスパン予測タスクに変換することで、SOTAの結果を達成し、TACREDでは2.3 F₁、SemEvalでは0.9 F₁の向上を達成した。また、表面的なヒューリスティクスへの依存を低減した。

ABSTRACT

The current supervised relation classification (RC) task uses a single embedding to represent the relation between a pair of entities. We argue that a better approach is to treat the RC task as span-prediction (SP) problem, similar to Question answering (QA). We present a span-prediction based system for RC and evaluate its performance compared to the embedding based system. We demonstrate that the supervised SP objective works significantly better then the standard classification based objective. We achieve state-of-the-art results on the TACRED and SemEval task 8 datasets.

研究の動機と目的

• 標準の関係分類モデルがグローバルな文の埋め込みに依存しており、特定のエンティティを無視する傾向にあるという限界を解消すること。
• 関係に含まれるエンティティの正確なスパンに注目させるようにモデルを強制することで、性能を向上させ、表面的なテキストパターンへの依存を低減すること。
• 質問-回答にインspiredされたスパン予測アプローチが、従来の埋め込みベース分類よりも、教師あり関係分類で優れた性能を発揮するかどうかを評価すること。
• 二方向の質問テンプレートと、答えの組み合わせ戦略（OR対AND）がモデル性能に与える影響を調査すること。
• SQuAD などの一般QAデータセットで事前学習することで、関係分類タスクの性能が向上するかどうかを評価すること。

提案手法

• 各関係タイプを二つの質問に変換する：一方は頭部エンティティをクエリとし、末尾を答えとする。逆も同様に、二方向のスパン予測設定を構築する。
• モデルは、各質問の答えのスパンを予測するように訓練され、正しいスパンのスコアが最大になるようにスパンスコア関数が使用される。
• 最終的な関係予測は、二つの質問の答えをORで組み合わせることで行い、再現率を高めつつも、精度を維持する。
• 文脈とクエリのエンコーディングに、BERT や ALBERT のような事前学習言語モデルをバックボーンとして使用する。
• テンプレートは関係に関する意味的知識をエンコードし、モデルは関係分類データセット上でエンドツーエンドで微調整される。
• 本手法は、TACRED、SemEval-8、および新規にリリースされた CRE データセット上で評価され、耐久性と一般化性能が検証された。

実験結果

リサーチクエスチョン

• RQ1 標準の埋め込みベース分類と比較して、二方向スパン予測フレームワークは、教師あり関係分類の性能を向上させることができるか？
• RQ2 両方のエンティティをクエリと答えとして用いる二方向の質問を使用することで、モデルの一般化性能が向上し、ヒューリスティクスバイアスが低減するか？
• RQ3 異なる答えの組み合わせ戦略（OR 対 AND）は、スパン予測設定における精度と再現率にどのように影響するか？
• RQ4 SQuAD 2.0 などの一般QAデータセットで事前学習することで、関係分類タスクの性能が向上するか？
• RQ5 スパン予測目的は、非意味的テキストパターンへのモデル依存度をどの程度低減するか？

主な発見

• 二方向スパン予測手法は、TACRED で 88.7 の新規SOTA F₁スコアを達成し、以前の手法より 2.3 F₁ ポイント向上した。
• SemEval-8 では、F₁スコアが 88.9 を達成し、前回SOTAより 0.9 F₁ ポイント向上した。
• 二方向の質問を使用することで、一方向設定と比較して F₁ が 2.4 ポイント向上し、両方向からの関係モデリングの重要性が示された。
• 答えのAND結合は、モデルを過剰に制約し再現率を低下させるため、F₁が約10ポイント低下し、ORに比べて顕著に性能が劣化した。
• SQuAD 2.0 で事前学習しても性能向上が得られず、TACRED データと組み合わせると逆に性能が低下した。これは主な利益がQA事前学習ではなく、教師ありスパン予測に起因することを示唆している。
• CRE データセット（表面的なヒューリスティクスをテストするように設計）においても、モデルは強力な一般化性能を示し、誤ったパターンへの依存が低減していることが確認された。