[論文レビュー] AMPERSAND: Argument Mining for PERSuAsive oNline Discussions

Tuhin Chakrabarty, Christopher Hidey+3 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 33被引用数 4

ひとこと要約

AMPERSANDは、オンラインの説得的ディスカッションにおける新たな議論マイニングフレームワークを提案する。このフレームワークは、微視的（議論の構成要素）および巨視的（対話的関係）構造を、ファインチューニングされたBERTと修辞的構造理論（RST）に基づく対話的関係を統合することで、文脈的で対話に配慮した特徴を活用し、関係予測において最先端のモデルを著しく上回る性能を達成する。特に、ウィンドウ化された文脈クリッピングとRSTに裏付けられた監視を用いることで、CMVサブレディットスレッドにおける内発的および発話間関係でFスコアが向上した。

ABSTRACT

Argumentation is a type of discourse where speakers try to persuade their audience about the reasonableness of a claim by presenting supportive arguments. Most work in argument mining has focused on modeling arguments in monologues. We propose a computational model for argument mining in online persuasive discussion forums that brings together the micro-level (argument as product) and macro-level (argument as process) models of argumentation. Fundamentally, this approach relies on identifying relations between components of arguments in a discussion thread. Our approach for relation prediction uses contextual information in terms of fine-tuning a pre-trained language model and leveraging discourse relations based on Rhetorical Structure Theory. We additionally propose a candidate selection method to automatically predict what parts of one's argument will be targeted by other participants in the discussion. Our models obtain significant improvements compared to recent state-of-the-art approaches using pointer networks and a pre-trained language model.

研究の動機と目的

• オンラインディスカッションにおける議論マイニングのギャップを埋めるために、微視的議論構成要素と巨視的対話的関係を統合すること。
• 独白中心のモデルにとどまらず、説得的ディスカッションフォーラムにおける関係予測を改善すること。
• 遠隔監視と転移学習を活用して、リソースが限られた議論マイニングタスクの性能を向上させること。
• 対話構造（RSTを介して）と文脈ウィンドウ化が関係予測の正確性に与える影響を調査すること。
• 関係予測の検索空間を縮小しながら、再現率を損なわず精度を向上させること。

提案手法

• 手動でアノテートされたCMVサブレディットデータと、2つの新しい遠隔ラベル付きデータセット（IMHO+context および QR）の組み合わせを用いて、事前学習済みBERTモデルをファインチューニングし、文脈理解を向上させる。
• 修辞的構造理論（RST）を用いて、評価や反意的関係などの対話的関係を抽出し、関係予測を強化する。
• ウィンドウ化された文脈クリッピングを適用して、関係予測の検索空間を制限し、関連する隣接構成要素に注目することで精度を向上させる。
• BERTとRSTの特徴を組み合わせたパイプラインアプローチを用いて、議論構成要素（主張、前提）と関係（支持／攻撃）を同時に予測する統合モデルを訓練する。
• RSTパーサーから得られる対話的キューを追加特徴として活用し、BERT埋め込みを補完することで、未学習データに対する一般化性能を向上させる。
• TF-IDF類似度を用いて外部データから失敗事例を検索・分析し、モデルが判別的な対話パターンを学習できることを検証する。

実験結果

リサーチクエスチョン

• RQ1 類似しているが同一ではないドメインからの遠隔ラベル付きデータを用いてBERTをファインチューニングすることで、リソースが限られた状況下での議論関係予測が向上するか？
• RQ2 修辞的構造理論（RST）に基づく対話的関係は、オンラインディスカッションにおける支持関係と攻撃関係を区別するためにどのように寄与するか？
• RQ3 文脈ウィンドウ化は、再現率を著しく低下させることなく、関係予測の精度をどの程度向上させるか？
• RQ4 RSTパーサーからの対話に配慮した特徴は、文脈表現に依存するモデルを上回るために、BERT埋め込みを補完するのに効果的か？
• RQ5 提案手法は、現実世界のオンライン議論スレッドにおける内発的および発話間の議論的関係をどの程度適切に捉えられるか？

主な発見

• 提案モデルは、+1ウィンドウを用いた内発的関係予測で39.3のFスコアを達成し、先行する最先端モデルを著しく上回った。
• +2ウィンドウを用いることで、精度が32.5%に向上し、Fスコアも39.3に到達した。これは、文脈クリッピングが高再現率の状況で精度を向上させることを示している。
• RST対話的関係を組み込むことで、関係予測に顕著な改善が見られ、特に反意的関係のような攻撃関係において顕著だった。
• IMHO+contextデータで学習したモデルは、未学習の例に対しても議論的関係を正しく特定できており、ドメインシフトに対して頑健であることが示された。
• BERTのファインチューニングとRST特徴の組み合わせにより、+3ウィンドウを用いた内発的関係予測で35.6のFスコアを達成し、対話的監視なしのモデルを上回った。
• 文脈ウィンドウを狭めることで誤検出が減少し、+1ウィンドウで最高のFスコア（44.1）を記録した。これは、再現率と精度の最適なバランスが達成されたことを示している。