[論文レビュー] A Dataset Independent Set of Baselines for Relation Prediction in Argument Mining

Oana Cocarascu, Elena Cabrio+2 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 41被引用数 10

ひとこと要約

本論文は、多様なデータセットに跨る議論的関係予測のための、データセットに依存しないニューラルネットワークベースラインを提案する。一般的な特徴量（単語埋め込みやTF-IDF）を用い、他のNLPタスクでBERTが成功を収めたにもかかわらず、著者らは文脈を考慮しない埋め込み表現がより優れていることを発見した。また、提案されたモデルは、全評価データセットで一貫した強く優れた性能を発揮し、将来的な手法の信頼できるベンチマークを提供する。

ABSTRACT

Argument Mining is the research area which aims at extracting argument components and predicting argumentative relations (i.e.,support and attack) from text. In particular, numerous approaches have been proposed in the literature to predict the relations holding between the arguments, and application-specific annotated resources were built for this purpose. Despite the fact that these resources have been created to experiment on the same task, the definition of a single relation prediction method to be successfully applied to a significant portion of these datasets is an open research problem in Argument Mining. This means that none of the methods proposed in the literature can be easily ported from one resource to another. In this paper, we address this problem by proposing a set of dataset independent strong neural baselines which obtain homogeneous results on all the datasets proposed in the literature for the argumentative relation prediction task. Thus, our baselines can be employed by the Argument Mining community to compare more effectively how well a method performs on the argumentative relation prediction task.

研究の動機と目的

• 議論的関係予測のための、移植可能でデータセット間で通用するベースラインの不足に対処すること。
• 複数の異種データセットに跨る強力で一貫したベースラインを提供することで、新しい手法の公平な比較を可能にすること。
• 一般化された特徴量とニューラルアーキテクチャが、多様な議論コーパスにおいて、データセット固有の特徴量を上回る性能を発揮できるかを評価すること。
• 文脈を考慮する埋め込み（例：BERT）が、文脈を考慮しない埋め込みと比較して、議論的関係予測の性能を向上させるかを調査すること。
• データセット固有の言語的・構造的特徴に依存しないベンチマークを確立すること。

提案手法

• 議論的関係を分類するための4つのニューラルネットワークアーキテクチャ（concatモデル、mixモデル、オートエンコーダ、アテンションベースモデル）を提案する。
• 位置情報やトピック類似度などのデータセット固有の特徴量を避けて、一般的な特徴量（単語埋め込みやTF-IDFベクトル）を用いる。
• 比較のため、文脈を考慮しない単語埋め込み（例：GloVe）と文脈を考慮するBERT埋め込みを併用する。
• 各データセットでモデルを学習し、保留されたテストセットで性能を評価し、支援関係と攻撃関係のF1スコアを報告する。
• 全データセットにわたって一貫した学習・評価プロトコルを適用し、比較可能性を確保する。
• 全体の性能と一般化性能を評価するために、マクロ平均F1とデータセット間の平均F1を用いる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークモデルセットが、データセット固有の特徴量に依存せずに、多様な議論的マイニングデータセットで一貫した性能を発揮できるか？
• RQ2 議論的マイニングにおいて、BERTのような文脈を考慮する埋め込みが、文脈を考慮しない埋め込みと比較して、関係予測性能を向上させるか？
• RQ3 アテンションやオートエンコーダなどの異なるニューラルアーキテクチャは、データセット間での一般化性能においてどのように比較できるか？
• RQ4 TF-IDF や単語埋め込みのような一般化された特徴量は、強力な性能を発揮するために十分か？
• RQ5 複数の議論的マイニングデータセットに跨る新しい手法の公平な比較を可能にする統一ベースラインを確立できるか？

主な発見

• 提案されたベースラインは、全11の評価対象の議論的マイニングデータセットで一貫した性能を発揮し、強い一般化性能を示した。
• 最高性能を発揮したモデルは、全データセットで支援関係に対して0.600のマクロ平均F1スコア、攻撃関係に対して0.537のマクロ平均F1スコアを達成した。
• 文脈を考慮しない単語埋め込み（例：GloVe）がBERT埋め込みを上回り、BERT埋め込みはベースラインモデルに改善をもたらさなかった。
• アテンションベースモデルとconcatモデルが最も高い平均F1スコアを達成し、最良の設定では攻撃関係で0.533、支援関係で0.533のF1スコアを記録した。
• TF-IDF や単語埋め込みのような一般化された特徴量の使用により、データセット固有の設計を必要とせず、一貫した性能が達成された。
• 結果から、強力な性能を発揮するにはデータセット固有の特徴量が必須であるという仮定が覆された。