[論文レビュー] WinoGrande: An Adversarial Winograd Schema Challenge at Scale

Keisuke Sakaguchi, Ronan Le Bras+2 more|arXiv (Cornell University)|Jul 24, 2019

Topic Modeling参考文献 45被引用数 84

ひとこと要約

WinoGrande は Winograd 風の代名詞解決問題を4.4万件にスケールさせ、AfLite を用いてデータのバイアスを軽減し、人間とモデルの性能の大きなギャップを示し、関連するベンチマークへの転移学習を可能にする。

ABSTRACT

The Winograd Schema Challenge (WSC) (Levesque, Davis, and Morgenstern 2011), a benchmark for commonsense reasoning, is a set of 273 expert-crafted pronoun resolution problems originally designed to be unsolvable for statistical models that rely on selectional preferences or word associations. However, recent advances in neural language models have already reached around 90% accuracy on variants of WSC. This raises an important question whether these models have truly acquired robust commonsense capabilities or whether they rely on spurious biases in the datasets that lead to an overestimation of the true capabilities of machine commonsense. To investigate this question, we introduce WinoGrande, a large-scale dataset of 44k problems, inspired by the original WSC design, but adjusted to improve both the scale and the hardness of the dataset. The key steps of the dataset construction consist of (1) a carefully designed crowdsourcing procedure, followed by (2) systematic bias reduction using a novel AfLite algorithm that generalizes human-detectable word associations to machine-detectable embedding associations. The best state-of-the-art methods on WinoGrande achieve 59.4-79.1%, which are 15-35% below human performance of 94.0%, depending on the amount of the training data allowed. Furthermore, we establish new state-of-the-art results on five related benchmarks - WSC (90.1%), DPR (93.1%), COPA (90.6%), KnowRef (85.6%), and Winogender (97.1%). These results have dual implications: on one hand, they demonstrate the effectiveness of WinoGrande when used as a resource for transfer learning. On the other hand, they raise a concern that we are likely to be overestimating the true capabilities of machine commonsense across all these benchmarks. We emphasize the importance of algorithmic bias reduction in existing and future benchmarks to mitigate such overestimation.

研究の動機と目的

• 大規模モデルが本当に常識的推論を持つのか、それともデータセットのバイアスに依存しているのかを調査する。
• 現在のモデルに挑戦する大規模で難しい WSC に触発されたデータセットを作成する。
• データセット固有のアーティファクトを緩和するためのバイアス低減手法（AfLite）を開発・適用する。
• WinoGrande から他の常識ベンチマークへの転移学習能力を評価する。

提案手法

• 多様性を高めるためのトピックアンカーに導かれた、双文の代名詞曖昧さ解消問題のクラウドソース生成。
• AfLite: RoBERTa 埋め込みと線形分類器のアンサンブルを用いて、バイアスが高い事例を除去する軽量な敵対的フィルタリングアルゴリズム。
• デバイアス済みデータと全データセットの設定を比較し、KL発散とPCA可視化を用いてバイアス効果を評価する。
• WinoGrande のデバイアス済み・全データの双方で、ベースラインおよび最先端モデル（WKH、Ensemble LMs、BERT、RoBERTa、DPR 微調整有無）を評価する。
• RoBERTa を WinoGrande で微調整して、WSC、PDP、COPA、KnowRef、Winogender への利得を評価する転移学習実験。

実験結果

リサーチクエスチョン

• RQ1 クラウドソースによるWSC風の問題を tens of thousands に拡大しても、AI にとって難易度を維持し、人間が解けることを保証できるか？
• RQ2 データセット特有のバイアスがWSC風タスクでのモデル性能を過剰に高めるのか、そして AfLite がこれらのバイアスを緩和できるのか？
• RQ3 WinoGrande のデバイアス除去がモデル性能と関連ベンチマークへの転移学習にどう影響するか？
• RQ4 WinoGrande で学習したモデルは他の常識推論データセットへどの程度転移できるか？

主な発見

モデル	Dev Acc %	Test Acc %
WKH	49.4	49.6
Ensemble LMs	53.0	50.9
BERT	65.8	64.9
RoBERTa	79.3	79.1
BERT (local context)	52.5	51.9
RoBERTa (local context)	52.1	50.0
BERT-DPR ⋆	50.2	51.0
RoBERTa-DPR ⋆	59.4	58.9
Human Perf.	94.1	94.0

• Best RoBERTa performance on debiased WinoGrande test set is 79.1% (dev 79.3%).
• Human performance on debiased WinoGrande exceeds 94.0% accuracy, far above model scores.
• AfLite debiasing dramatically reduces KL divergence between label distributions, indicating reduced dataset-specific bias.
• RoBERTa fine-tuned on WinoGrande improves state-of-the-art results on WSC, DPR, COPA, KnowRef, and Winogender.
• WinoGrande enables transfer learning; RoBERTa-WinoGrande achieves 90.1% on WSC-related tasks, 93.1% on DPR, 90.6% on COPA, 85.6% on KnowRef, and 97.1% on Winogender (relative to respective baselines).
• Results suggest substantial biases in existing benchmarks and the need for algorithmic bias reduction to better gauge true commonsense capabilities.