[論文レビュー] Understanding and Detecting Supporting Arguments of Diverse Types

Xinyu Hua, Lu Wang|arXiv (Cornell University)|Apr 28, 2017

Natural Language Processing Techniques被引用数 18

ひとこと要約

本稿は、ユーザーが指定した主張を裏付ける外部文書からの文レベルの支援的根拠を検出するための新しいタスクを導入し、研究、事実、意見、推論の4種類の根拠タイプでアノテートされたデータセットを提案している。LambdaMARTにタイプに配慮した特徴を組み合わせた手法により、MRRが57.65に達し、ベースラインを著しく上回り、根拠タイプ情報が検出性能の向上に寄与することが示された。

ABSTRACT

We investigate the problem of sentence-level supporting argument detection from relevant documents for user-specified claims. A dataset containing claims and associated citation articles is collected from online debate website idebate.org. We then manually label sentence-level supporting arguments from the documents along with their types as study, factual, opinion, or reasoning. We further characterize arguments of different types, and explore whether leveraging type information can facilitate the supporting arguments detection task. Experimental results show that LambdaMART (Burges, 2010) ranker that uses features informed by argument types yields better performance than the same ranker trained without type information.

研究の動機と目的

• 外部文書からの支援的根拠を自動で検出するためのツールの不足に対処すること。
• 異なるタイプの支援的根拠（研究、事実、意見、推論）が、それぞれ別個の検出戦略を要するかどうかを調査すること。
• 根拠タイプ情報を活用したスコアリングによる検出性能の向上を図る教師ありランク学習モデルの開発と評価。
• 特徴設計を支援するため、根拠タイプ間の言語的・構造的差異を同定すること。

提案手法

• idebate.orgから収集・アノテートした新規データセットを用い、200件のトピックと621件の引用記事において、文レベルの支援的根拠とそのタイプをラベル付け。アノテーター間整合性は高く（Cohen’s κ = 0.8）。
• 4種類の根拠タイプを定義：研究（研究結果）、事実（実証的データ）、意見（専門家または個人の見解）、推論（論理的帰納）。
• 文、主張、類似性特徴と組み合わせた複合特徴（例：Comp(type, Sen), Comp(type, Simi)）を設計し、表現を豊かにした。
• これらの特徴を用いて、LambdaMARTランカーを訓練し、与えられた主張に対して関連性の高い候補文をスコア付けした。
• ROUGEスコア、名前付きエンティティ数、具体性、アーザルススコアを言語的特徴として用い、各根拠タイプごとに有意性をt検定で評価。
• MRRとNDCGを評価指標として用い、タイプに配慮した特徴を含む・含まないモデルのアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 研究、事実、意見、推論の4つの根拠タイプ間で、支援的根拠の言語的・構造的特徴にどのような差が生じるか？
• RQ2 根拠タイプ情報が、支援的根拠検出性能の向上に寄与できるか？
• RQ3 各根拠タイプ内において、支援的根拠と非支援的文を区別する上で最も顕著な特徴は何か？
• RQ4 ヘッジワード、配置位置、具体性などの主要特徴の分布が、根拠タイプごとにどのように変化するか？
• RQ5 タイプに配慮した複合特徴を組み込むことで、情報検索性能に統計的に有意な向上が得られるか？

主な発見

• 根拠タイプ情報を組み込んだ複合特徴を用いたLambdaMARTモデルは、MRRが57.65に達し、すべてのベースラインを著しく上回った（p < 0.05）。
• 最も優れた性能を示したモデルは、文特徴、n-gram、類似性特徴に加え、2つの複合特徴（Comp(type, Sen) と Comp(type, Simi)）を組み合わせ、MRRが57.65、NDCGが66.51を達成した。
• 「研究」タイプの文は、パcentage語とヘッジワードを含む確率が顕著に高く、両者ともp値が1e-10未満であった。
• 「事実」タイプでは、文の配置位置と主張とのROUGE類似度が顕著に有意な特徴であった（p < 1e-10）が、「推論」タイプでは、低い具体性とアーザルスコアが主な指標であった。
• 「意見」タイプでは、配置に顕著なバイアスが認められず、文書全体に均等に分布していることが示唆された。
• 特徴分析から、顕著な特徴（具体性、ヘッジワード、名前付きエンティティ）の分布が根拠タイプごとに顕著に異なることが判明し、タイプに配慮したモデリングの必要性が裏付けられた。