[論文レビュー] Seeing Things from a Different Angle: Discovering Diverse Perspectives about Claims

Sihao Chen, Daniel Khashabi+3 more|arXiv (Cornell University)|Jun 8, 2019

Topic Modeling参考文献 48被引用数 7

ひとこと要約

本稿では、主張に関する多様で根拠のある見解を同定するという、新たなNLPチャレンジである実証的見解発見のタスクを導入する。著者らは、オンラインディスカッション、検索拡張、クラウドソーシングを活用して、907件の主張、11,164件の見解、8,092段落の根拠パラグラフを含む高品質なデータセットPerspectiveを構築した。人間のパフォーマンスが最先端のモデルを大きく上回ることから、今後のNLP研究における重要な課題が浮き彫りになった。

ABSTRACT

One key consequence of the information revolution is a significant increase and a contamination of our information supply. The practice of fact checking won't suffice to eliminate the biases in text data we observe, as the degree of factuality alone does not determine whether biases exist in the spectrum of opinions visible to us. To better understand controversial issues, one needs to view them from a diverse yet comprehensive set of perspectives. For example, there are many ways to respond to a claim such as "animals should have lawful rights", and these responses form a spectrum of perspectives, each with a stance relative to this claim and, ideally, with evidence supporting it. Inherently, this is a natural language understanding task, and we propose to address it as such. Specifically, we propose the task of substantiated perspective discovery where, given a claim, a system is expected to discover a diverse set of well-corroborated perspectives that take a stance with respect to the claim. Each perspective should be substantiated by evidence paragraphs which summarize pertinent results and facts. We construct PERSPECTRUM, a dataset of claims, perspectives and evidence, making use of online debate websites to create the initial data collection, and augmenting it using search engines in order to expand and diversify our dataset. We use crowd-sourcing to filter out noise and ensure high-quality data. Our dataset contains 1k claims, accompanied with pools of 10k and 8k perspective sentences and evidence paragraphs, respectively. We provide a thorough analysis of the dataset to highlight key underlying language understanding challenges, and show that human baselines across multiple subtasks far outperform ma-chine baselines built upon state-of-the-art NLP techniques. This poses a challenge and opportunity for the NLP community to address.

研究の動機と目的

• 情報抽出における選択バイアスを是正するため、議論の余地がある主張について、多様で裏付けのある見解をシステムが浮き彫りにできるようにすること。
• ステーク・ディテクション、見解の関連性、根拠の根拠付けという要素を含む、実証的見解発見のタスクを、NLPの根幹的チャレンジとして形式化すること。
• 議論の余地がある主張に関する、洗練された見解とその根拠を捉える高品質でスケーラブルなデータセットを構築すること。
• 現在のNLPモデルが解決できない、見解の多様性、ステークの整合性、根拠の関連性といった、言語理解の主要な課題を特定すること。

提案手法

• オンラインディスカッションフォーラムをシードデータとして用い、検索エンジンの結果と再表現技術を組み合わせることで、データの多様性とカバレッジを拡大してPerspectiveデータセットを構築する。
• クラウドソーシングを活用してノイズをフィルタリングし、見解とステークの整合性、根拠の関連性を検証することで、高品質なデータを確保する。
• 5つのサブタスク（見解の関連性、ステーク分類、見解の同等性、根拠抽出、エンドツーエンドの見解発見）を設計する。
• 各サブタスクに対して、情報検索（IR）およびBERTベースのモデルを用いた教師ありベースラインを訓練し、人間アノテーションのゴールスタンダードと比較する。
• コンテンツの意図（例：攻撃的言語）に基づくフィルタリングを避ける厳密な品質管理を実施し、多様性を保ちつつ信頼性を確保する。
• 主張、見解、根拠の間の意味的関係に焦点を当て、出典の信頼性や事実の真偽とは独立して、メソドロジカルな明確さを確保する。

実験結果

リサーチクエスチョン

• RQ1 与えられた議論の余地がある主張について、多様でありながら包括的な見解の集合を体系的に特定する方法は何か。各見解は関連する根拠によって裏付けられるべきである。
• RQ2 主張に対する見解のステークを特定する際、および2つの見解が同等の意味を表しているかどうかを同定する際の、NLPの核心的課題は何か。
• RQ3 現在のNLPモデル、特にBERTを含むものであっても、主張に関連する見解や根拠を人間と同等に認識できるか。
• RQ4 情報検索ベースとニューラルベースの手法は、与えられた主張に対して最も関連性の高い見解や根拠パラグラフを特定する際に、どのように比較されるか。
• RQ5 現在のNLPシステムが、文脈依存的で洗練された見解およびその事実根拠の理解において、どのような主なボトルネックを抱えているか。

主な発見

• 見解の関連性タスクにおいて、人間のパフォーマンスは72.5% F1に達し、IR + BERTを用いた最良の機械ベースライン（50.8% F1）を大きく上回った。
• ステーク分類において、人間は90.9% F1を達成したが、最良のモデル（BERT）は70.8%にとどまり、大きなパフォーマンスギャップが確認された。
• 見解の同等性タスクでは、人間のF1スコアは83.7%であったのに対し、BERTベースのベースラインは63.7%にとどまり、意味的同等性検出における深刻な限界が明らかになった。
• 根拠抽出においては、人間が60.7% F1を記録したのに対し、IR + BERTは55.7%、IR単体では46.8%であった。これは、長文の文脈における根拠マッチングの難易度が高いためである。
• エンドツーエンドの見解発見（全体のシステム性能）において、人間アノテーションを用いた場合のF1スコアは40.0%であったが、IR + BERTではたった17.5%にとどまり、包括的推論のギャップが顕著に現れた。
• 最先端のモデルを用いても、すべてのサブタスクにおいて機械ベースラインは人間のアノテーターを著しく下回り、複雑で多様な見解を理解するというNLP分野における重要な課題が浮き彫りになった。