[論文レビュー] WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge

Hongming Zhang, Xinran Zhao+1 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling参考文献 23被引用数 4

ひとこと要約

本稿では、モデルが共通知識推論を真正に理解しているのか、それともWinogradスキーマチャレンジ（WSC）の統計的バイアスにのみ依存しているのかを評価する新しい診断タスク、WinoWhyを紹介する。人間が正解の理由をアノテートし、6つの知識タイプに分類することで、最先端モデルですらWinoWhyでは77.77%の正確度にとどまることを明らかにした。これは、優れたWSCタスクのパフォーマンスにもかかわらず、根本的な共通知識の理解が限定的であることを示している。

ABSTRACT

In this paper, we present the first comprehensive categorization of essential commonsense knowledge for answering the Winograd Schema Challenge (WSC). For each of the questions, we invite annotators to first provide reasons for making correct decisions and then categorize them into six major knowledge categories. By doing so, we better understand the limitation of existing methods (i.e., what kind of knowledge cannot be effectively represented or inferred with existing methods) and shed some light on the commonsense knowledge that we need to acquire in the future for better commonsense reasoning. Moreover, to investigate whether current WSC models can understand the commonsense or they simply solve the WSC questions based on the statistical bias of the dataset, we leverage the collected reasons to develop a new task called WinoWhy, which requires models to distinguish plausible reasons from very similar but wrong reasons for all WSC questions. Experimental results prove that even though pre-trained language representation models have achieved promising progress on the original WSC dataset, they are still struggling at WinoWhy. Further experiments show that even though supervised models can achieve better performance, the performance of these models can be sensitive to the dataset distribution. WinoWhy and all codes are available at: https://github.com/HKUST-KnowComp/WinoWhy.

研究の動機と目的

• 共通知識推論のための必須となる知識タイプを特定・分類すること。
• 現在のモデルが共通知識推論を理解しているのか、それともWSCデータセットの統計的バイアスに依存しているのかを調査すること。
• モデルが正しい推論と類似したが誤りの推論を区別できる能力を評価する新しい診断ベンチマーク、WinoWhyを開発すること。
• 既存の事前学習済みおよび教師ありモデルがWSC意思決定の背後にある根拠を理解する能力にどのような限界を示しているかを明らかにすること。

提案手法

• アノテーターが各WSC質問に対する正解の理由を詳細に提供し、使用された共通知識を説明した。
• 理由を6つの知識タイプに体系的に分類した：実体の性質、時間的推論、空間的推論、因果関係、数量、社会的規範。
• 各WSC質問に正解の理由1つと、妥当ではあるが誤りの理由複数をペアで組み合わせることで、新しいタスクWinoWhyを構築した。
• モデルは、類似した代替候補の中から正解の理由を識別する能力を評価する文書分類タスクとして評価された。
• 複数の事前学習モデル（例：BERT、RoBERTa、GPT-2、BERT-large）およびLSTMベースラインを、5分割交差検証を用いてWinoWhyデータセットで微調整した。
• 2種類の分割戦略を用いた：質問ごとに（Five-fold q）と理由ごとに（Five-fold r）分割し、データ分布の変化に対するモデルの頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 WSC質問を正しく解くために必要な共通知識の種類は何か？
• RQ2 現在の事前学習言語モデルは、予測の背後にある推論を理解しているのか、それともデータセットバイアスに依存しているのか？
• RQ3 類似したデータセットで微調整することでWSCのパフォーマンスを信頼性高く向上させられるのか、それとも統計的パターンへの過学習によるものなのか？
• RQ4 訓練データの分布が変化した場合、教師ありモデルはWinoWhyでどの程度頑健か？

主な発見

• 最先端モデルですらWinoWhyタスクで77.77%の正確度にとどまり、正しい推論と妥当ではあるが誤った推論を区別する困難さが示された。
• 最もパフォーマンスの良い教師ありモデルは、特に「Five-fold (r)」設定において、交差検証の各fold間で高い標準偏差を示しており、データ分布に敏感であることがわかった。
• WSCR や WinoGrande で微調整しても、WSCではパフォーマンスが向上するが、WinoWhyでは向上しない。これは、パフォーマンス向上が深い共通知識理解ではなく、データセットへのフィッティングによるものである可能性を示唆している。
• 結果から、現在のモデルはWSCの答えの背後にある推論を真正に理解しているのではなく、訓練データ内の統計的手がかりに依存していることが示された。
• WinoWhyベンチマークは、既存のモデルが表面的なパターンを超えて一般化できていないことを明らかにした。これにより、より頑健な推論メカニズムの開発が急務であることが示された。