[論文レビュー] IMHO Fine-Tuning Improves Claim Detection

Tuhin Chakrabarty, Christopher Hidey+1 more|arXiv (Cornell University)|May 16, 2019

Topic Modeling参考文献 12被引用数 7

ひとこと要約

本稿では、550万件の自己ラベル付き意見的主張（IMO/IMHO を使用）からなる大規模な Reddit コーパス上で事前学習された言語モデルを微調整することで、クロスドメインの主張検出を改善する手法を提案する。ULMFiT を活用することで、4つの多様な議論データセットにおいて、最先端のモデルと比較して平均で F1 スコアが 4 ポints 向上し、ソーシャルメディアや学生エッセイへの汎用性が裏付けられた。

ABSTRACT

Claims are the central component of an argument. Detecting claims across different domains or data sets can often be challenging due to their varying conceptualization. We propose to alleviate this problem by fine tuning a language model using a Reddit corpus of 5.5 million opinionated claims. These claims are self-labeled by their authors using the internet acronyms IMO/IMHO (in my (humble) opinion). Empirical results show that using this approach improves the state of art performance across four benchmark argumentation data sets by an average of 4 absolute F1 points in claim detection. As these data sets include diverse domains such as social media and student essays this improvement demonstrates the robustness of fine-tuning on this novel corpus.

研究の動機と目的

• 異なるドメインから得られる議論データセットにおける主張の概念的定義の不一致という課題に対処すること。
• 大規模で自己ラベル付きの意見コーパスを活用して、クロスドメインの主張検出性能を向上させること。
• 意見的主張に共通する言語的パターンが、言語モデルの微調整によって捉えられるかどうかを調査すること。
• 今後の計算的議論研究のため、Reddit から得た 550万件の意見的主張の新しい大規模データセットを公開すること。

提案手法

• IMO や IMHO という略語を含む Reddit コメントを抽出し、550万件の自己ラベル付き意見的主張を収集する。
• 事前学習済み言語モデルを IMHO コーパスに ULMFiT を用いて微調整した後、下流の主張検出タスクに適応させる。
• 微調整済み言語モデルを用いて、各ベンチマークデータセットで最終的な分類器を学習し、主張を検出する。
• F1 スコアを主指標として、4つの多様な議論データセット（WD、IMHO、MT、PE）における性能を評価する。
• 誤分類例の分析を通じて、モデルのバイアスや文脈的制限を評価する。
• BERT スタイルのモデルを用いた今後の拡張について検討し、文脈と主張-前提関係を同時にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 大規模で自己ラベル付きの意見コーパスで微調整された言語モデルは、多様でドメイン外のデータセットにおいても主張検出性能を向上させることができるか？
• RQ2 意見的主張に共通する言語的特徴は、定義が異なるドメイン間での転移学習を可能にするか？
• RQ3 Reddit からの非公式で自己ラベル付きの主張（例：IMHO）は、訓練ドメインを超えて一般化する主張検出のための堅牢な信号を提供できるか？
• RQ4 標準ベンチマークデータセットにおいて、このモデルの性能は先行研究の最先端手法と比較してどうか？
• RQ5 モデルがどのような誤りを犯しているのか。それは文脈情報の不足に起因するのか？

主な発見

• 550万件の IMHO ラベル付き Reddit 主張で微調整した言語モデルは、4つのベンチマーク議論データセットにおいて平均で F1 スコアが 4 ポイント向上した。
• 本手法は、すべての4つのデータセット（WD、IMHO、MT、PE）で最先端の性能を達成し、強力なクロスドメイン一般化能力を示した。
• 誤り分析の結果、文脈的支援が不足していると、前提文を主張と誤って分類する傾向があることが判明し、文脈に配慮したモデリングの必要性が示された。
• 比較的またはモーダルな表現（例：'much safer than'、'should be'）ですら、主張でない場合にも主張と分類する傾向があり、語彙的バイアスの可能性が示された。
• 結果から、意見的主張に共通する語彙的・構文的パターンは、転移学習によって効果的に捉えられることが確認された。
• IMHO データセットの公開により、今後の計算的議論研究および主張検出分野の研究が支援されると期待される。