[論文レビュー] The Defeat of the Winograd Schema Challenge

Vid Kocijan, Ernest Davis+3 more|arXiv (Cornell University)|Jan 7, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文は、自然言語処理における常識的推論のベンチマークとしてのウィノグラードスキーマチャレンジ（WSC）の衰退を分析し、2019年までに、特にRoBERTaやGPT-3を含む最先端のトランスフォーマー型モデルがWSC273で90％を超える精度を達成したことを示している。著者らは、事前学習や微調整の進歩に加え、WinoGrandeなどの大規模な代替データセットの登場により、モデルが真の常識的理解ではなく統計的パターンを活用するようになったため、チャレンジは実質的に「克服された」と主張している。

ABSTRACT

The Winograd Schema Challenge - a set of twin sentences involving pronoun reference disambiguation that seem to require the use of commonsense knowledge - was proposed by Hector Levesque in 2011. By 2019, a number of AI systems, based on large pre-trained transformer-based language models and fine-tuned on these kinds of problems, achieved better than 90% accuracy. In this paper, we review the history of the Winograd Schema Challenge and discuss the lasting contributions of the flurry of research that has taken place on the WSC in the last decade. We discuss the significance of various datasets developed for WSC, and the research community's deeper understanding of the role of surrogate tasks in assessing the intelligence of an AI system.

研究の動機と目的

• AIにおける常識的推論のベンチマークとしてのウィノグラードスキーマチャレンジの歴史的経路と最終的な失敗を分析すること。
• WSCが深層理解と常識的知識をテストすることを意図していたにもかかわらず、大規模な事前学習言語モデルがなぜWSCで高い性能を達成したのかを調査すること。
• WinoGrande や WNLI のような代替データセットが、真の推論なしに高い精度を達成するのを可能にした役割と、研究の焦点をどのようにシフトさせたかを検討すること。
• 微調整、モデルのスケーリング、データ拡張が、WSCベンチマーク全体でのパフォーマンスに与える影響を評価すること。
• これらの結果が、AI知能の評価の今後のあり方やNLPにおける代替ベンチマークの有効性に与える影響を評価すること。

提案手法

• 2011年の設立から2019年の高精度な結果に至るまで、ウィノグラードスキーマチャレンジの歴史的経過を体系的にレビューすること。
• BERT、RoBERTa、GPT-2、GPT-3、T5 などのトップパフォーマンスを示したモデルのアーキテクチャとトレーニング戦略を分析すること。
• WSCに類似したデータへの微調整およびDPR、ConceptNet、MaskedWikiなどの外部知識ソースの役割を評価すること。
• WinoGrande や WNLI のような代替データセットが、データ拡張とマルチタスク学習を通じてパフォーマンスを向上させた仕組みを検討すること。
• WSC273、WNLI、WinoGrande、PDP の各データセット間での結果を比較し、パフォーマンスのトレンドとモデルの進化を追跡すること。
• 主なトレンドの特定：モデルサイズの増大、微調整への依存、小規模で高品質なデータセットから大規模で合成されたデータセットへのシフト。

実験結果

リサーチクエスチョン

• RQ1 WSCが深層理解をテストすることを意図していたにもかかわらず、なぜ常識的推論の堅実なベンチマークとして機能しなかったのか。
• RQ2 事前学習言語モデルが、真の常識的推論ではなく統計的パターンに依存してWSCで高い精度を達成した程度はどの程度か。
• RQ3 WinoGrande や WNLI のような代替データセットの登場が、元のWSCが意味のある評価ツールとしての役割を失うのをどのように促進したか。
• RQ4 微調整と外部知識ソースは、WSCベンチマークにおけるモデルのパフォーマンス向上にどの程度貢献したか。
• RQ5 この結果の広範な意味は、AIシステムの評価やNLPにおける将来のベンチマーク設計にどのような影響を及えるか。

主な発見

• 2019年までに、RoBERTaベースのモデルはWSC273ベンチマークで90.1％の精度を達成し、Levesqueが人間水準の常識的推論の兆候と定めた90％のしきい値を超えた。
• WinoGrande という大規模な合成データセットの導入により、研究の焦点がシフトし、その後の大多数のモデルが元のWSCではなく、このデータセットでの評価に限定するようになった。
• WSCに類似したデータへの微調整、特にDPRのようなリtrieval増強手法を用いることでパフォーマンスが著しく向上し、Heら（2019）のモデルはWSC273で75.1％、WNLIで89％の精度を達成した。
• GPT-3 は、タスク固有の微調整なしにWSC273で88.3％の精度を達成し、few-shotの文脈内学習がこのチャレンジで高いパフォーマンスをもたらせることを示した。
• WNLI は小規模ではあるが広く使われており、2019年の精度が74.7％であったのに対し、2020年までに85.6％まで上昇し、データとモデルのスケーリングによる急速な進歩が示された。
• GPT-3 や T5-3B のような大規模モデルへの傾斜と、Khashabi ら（2020）が示したように多様なデータセットでのマルチタスク微調整がさらにパフォーマンス向上を加速し、2021年までにWinoGrandeでは91.3％の精度に到達した。