[論文レビュー] A Review of Winograd Schema Challenge Datasets and Approaches

Vid Kocijan, Thomas Lukasiewicz+3 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 43被引用数 20

ひとこと要約

この論文は、Winograd Schema Challenge (WSC) データセットとアプローチをレビューし、Wsc273 や Wsc285 などのベンチマークデータセットを分析し、BERT や RoBERTa の微調整を含むニューラルネットワーク手法を評価している。主な発見は、最先端のモデルが Wsc273 で約90%の正確度を達成しており、神経ネットワークが真の日常的常識的推論ではなく統計的パターンを用いて WSC を解いていることを示しており、元の主張である「Google で検索できない」タスクであるという主張に疑問を呈している。

ABSTRACT

The Winograd Schema Challenge is both a commonsense reasoning and natural language understanding challenge, introduced as an alternative to the Turing test. A Winograd schema is a pair of sentences differing in one or two words with a highly ambiguous pronoun, resolved differently in the two sentences, that appears to require commonsense knowledge to be resolved correctly. The examples were designed to be easily solvable by humans but difficult for machines, in principle requiring a deep understanding of the content of the text and the situation it describes. This paper reviews existing Winograd Schema Challenge benchmark datasets and approaches that have been published since its introduction.

研究の動機と目的

• Winograd Schema Challenge ベンチマークデータセット（Wsc273, Wsc285, 多言語バージョンを含む）の設計、構造、進化を分析すること。
• 特に BERT や RoBERTa を含むニューラルネットワークベースのモデルが WSC や関連する共参照データセット上でどのようにパフォーマンスを発揮するかを評価すること。
• 現代の言語モデルが WSC を真の日常的常識的推論によって解いているのか、それともデータ内の統計的バイアスを悪用しているのかを調査すること。
• 関連性、スイッチ可能さ、デバイアス処理の有無といったデータセット特性がモデルのパフォーマンスに与える影響を評価すること。
• 現在のアプローチの限界を特定し、日常的常識的推論のためのより強固で探査的なベンチマークの必要性を示唆すること。

提案手法

• Wsc273, Wsc285, Dpr, Wnli, Pdp, WinoGrande を含む、元の Winograd スキーマ 100 件とその後続のデータセットの体系的レビュー。
• Wsc273 の例を関連性（13.6%）とスイッチ可能（48%）のサブセットに分類し、モデルのバイアスと一貫性を評価。
• マスクド言語モデルと次文予測タスクを用いて、Dpr および WSC データセット上で BERT と RoBERTa モデルの微調整。
• コアリファレンス解決を改善するために、AMS（アライメント、マスク、選択）や WikiCREM などの特殊な事前学習手法の適用。
• Wsc273, Wnli, Pdp, Dpr におけるモデルパフォーマンスの評価と、WinoGrande のデバイアス処理版におけるアブレーションスタディ。
• スイッチ可能な例および検証セットにおけるモデル行動の分析を通じて、データセットバイアスの悪用を検出。

実験結果

リサーチクエスチョン

• RQ1 現代のニューラルモデルが、真の日常的常識的推論ではなく統計的パターンによって Winograd Schema Challenge をどれほど解いているのか。
• RQ2 関連性やスイッチ可能さといったデータセット特性が、モデルのパフォーマンスと一般化能力にどのように影響するか。
• RQ3 大規模なマスクドコアリファレンスデータセットで事前学習することで、下流の WSC ベンチマークでのパフォーマンスが向上するか。
• RQ4 なぜ一部のモデルは Wsc273 で高い正確度を達成するが、スイッチ可能またはデバイアス処理済みの例では頑健性を示さないのか。
• RQ5 WSC における高いパフォーマンスが、NLP 分野における日常的常識的推論評価の今後の方向性にどのような意味を持つのか。

主な発見

• RoBERTa を WinoGrande で微調整した最良のモデルは、Dpr で 93.1%、Wsc273 で 90.1%、Pdp で 87.5% の正確度を達成しており、標準ベンチマークで強いパフォーマンスを示している。
• RoBERTa は WinoGrande で 79.1%、Wsc273 で 90.1% の正確度を達成しており、Wsc273 で報告された最高の結果である。これは大規模事前学習の影響を示唆している。
• WinoGrande のデバイアス処理済みデータで学習したモデルは、その検証セットで偶数レベルのパフォーマンスを示しており、WinoGrande 全体で高い正確度を達成するのは、データバイアスの悪用によるものであり、推論によるものではない可能性がある。
• Wsc273 の約 48% の例はスイッチ可能であり、代わりの参照が有効に成立するため、候補を入れ替えるとモデルのパフォーマンスが一貫しない傾向にある。
• Wsc273 の約 13.6% の例は関連性があり、正しい答えが語の関連性（例：'roof' → 'repaired'）と強く結びついている。この場合、モデルは非関連性のケースよりも顕著に高いパフォーマンスを示す。
• WSC ベンチマークで高い正確度を達成しているにもかかわらず、モデルは一貫した日常的常識的推論や物語理解を示していない。これは、一貫性のあるテキスト生成や日常的な状況に関する簡単な質問への回答に失敗していることからも明らかである。