[論文レビュー] On the Evaluation of Common-Sense Reasoning in Natural Language Understanding.

Paul Trichelair, Ali Emami+4 more|arXiv (Cornell University)|Nov 5, 2018

Natural Language Processing Techniques被引用数 9

ひとこと要約

本論文は、Winograd Schema Challenge (WSC) におけるインスタンスレベルの複雑さを分析することにより、サイズの制限と変動する難易度の問題に対処する、NLP モデルにおける常識的推論を評価するプロトコルを導入する。2つの新しい複雑さ指標を適用することで、先行研究の結果を明確化・限定化し、常識的ベンチマーク評価における不適切な結論を防ぐ。

ABSTRACT

The NLP and ML communities have long been interested in developing models capable of common-sense reasoning, and recent works have significantly improved the state of the art on benchmarks like the Winograd Schema Challenge (WSC). Despite these advances, the complexity of tasks designed to test common-sense reasoning remains under-analyzed. In this paper, we make a case study of the Winograd Schema Challenge and, based on two new measures of instance-level complexity, design a protocol that both clarifies and qualifies the results of previous work. Our protocol accounts for the WSC's limited size and variable instance difficulty, properties common to other common-sense benchmarks. Accounting for these properties when assessing model results may prevent unjustified conclusions.

研究の動機と目的

• 常識的推論ベンチマーク（例：Winograd Schema Challenge (WSC)）におけるタスクの複雑さの未分析問題に対処すること。
• WSC の限られたサイズと変動するインスタンス難易度を考慮するプロトコルの開発。
• インスタンスレベルの複雑さ指標を組み込むことで、先行モデル評価結果の明確化と限定化。
• 同様の構造的制限を有する他の常識的ベンチマークに適用可能なフレームワークの提供。

提案手法

• 個々の WSC 例の評価に向け、2つの新しいインスタンスレベルの複雑さ指標を導入。
• これらの指標を用いて、既存のモデルが WSC で示したパフォーマンスを再評価。
• インスタンスの複雑さに基づいて重み付けまたはフィルタリングを行うことで、モデル評価を調整するプロトコルを設計。
• プロトコルを用いて先行の最先端結果を再分析し、不均一な難易度分布に起因するバイアスの可能性を明らかにする。
• 全インスタンスを同等に扱うのではなく、異なる難易度レベルにおけるモデルパフォーマンスの変動に焦点を当てる。
• 同様の特性を有する他の常識的推論ベンチマークに一般化可能なプロトコルを保証する。

実験結果

リサーチクエスチョン

• RQ1 個々の Winograd Schema インスタンスの難易度はどのように変動するか。また、測定可能な指標で定量化可能か。
• RQ2 WSC における変動するインスタンス難易度は、モデルパフォーマンスの解釈にどの程度影響を及えるか。
• RQ3 複雑さに配慮した評価プロトコルは、ベンチマーク結果の信頼性と公平性を向上させられるか。
• RQ4 インスタンスレベルの複雑さを考慮した場合、先行の最先端モデルの結果はどのように変化するか。
• RQ5 このプロトコルは、同様の制限を有する他の常識的推論ベンチマークに適用可能か。

主な発見

• Winograd Schema Challenge には顕著なインスタンス難易度のばらつきが見られ、先行評価ではそれが均一に扱われていない。
• モデルパフォーマンス指標は、簡単なインスタンスと難しいインスタンスの分布に敏感であり、調整がなければ誤った結論を導くおそれがある。
• 提案されたプロトコルにより、一部の高パフォーマンスモデルがより簡単なインスタンスに著しく依存している可能性が明らかになり、報告された正確性向上の妥当性に疑問が呈された。
• インスタンスレベルの複雑さを組み込むことで、モデルの能力をより洗練され、信頼性の高い評価が可能になる。
• 本研究では、複雑さを考慮することで、ベンチマーク結果の解釈がより説得力があり、限定的なものになることが示された。
• このフレームワークは一般化可能であり、同様の制限を有する他の常識的推論ベンチマークに適用可能である。