[論文レビュー] CODAH: An Adversarially Authored Question-Answer Dataset for Common Sense

Michael Chen, Mike D’Arcy+3 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

CODAH は、最先端のニューラルモデルの弱みを意図的に突くように設計された、共通知識に関する質問・回答のデータセットである。人間のアノテーターが、モデルの弱点を突くように質問を設計する。SWAGで微調整した後でも、BERT-Large は CODAH でたった 67.5% の正答率にとどまり、人間の性能（95.3%）と比べて顕著な差が生じており、現在のモデルが真の共通知識推論能力に到達していないことが示されている。

ABSTRACT

Commonsense reasoning is a critical AI capability, but it is difficult to construct challenging datasets that test common sense. Recent neural question answering systems, based on large pre-trained models of language, have already achieved near-human-level performance on commonsense knowledge benchmarks. These systems do not possess human-level common sense, but are able to exploit limitations of the datasets to achieve human-level scores. We introduce the CODAH dataset, an adversarially-constructed evaluation dataset for testing common sense. CODAH forms a challenging extension to the recently-proposed SWAG dataset, which tests commonsense knowledge using sentence-completion questions that describe situations observed in video. To produce a more difficult dataset, we introduce a novel procedure for question acquisition in which workers author questions designed to target weaknesses of state-of-the-art neural question answering systems. Workers are rewarded for submissions that models fail to answer correctly both before and after fine-tuning (in cross-validation). We create 2.8k questions via this procedure and evaluate the performance of multiple state-of-the-art question answering systems on our dataset. We observe a significant gap between human performance, which is 95.3%, and the performance of the best baseline accuracy of 67.5% by the BERT-Large model.

研究の動機と目的

• 既存の共通知識ベンチマークにおけるニューラルモデルの高い性能と、それらが真のヒューマンレベルの共通知識推論を備えていないという事実の間のギャップを是正すること。
• モデルの弱みを的確に突くように質問を逆向きに構築することで、より頑健な評価ベンチマークを構築すること。
• SWAG などの既存データセットでは達成できないレベルの挑戦を、微調整後でもモデルが克服できないようなデータセットを作成すること。
• 現在のモデルが特に苦手としている共通知識推論の種別（例：数量的推論、否定、対象参照）を同定すること。

提案手法

• アノテーターは事前学習済み言語モデル（例：BERT や GPT）の挙動を学習し、微調整前後においてもモデルが正しく答えられない質問を生成するように指示される。
• 交差検証手順により、質問が初期バージョンおよび微調整後バージョンの両方でモデルをだます場合にのみ採用され、逆向きの質問の質を高めるインcentiveが与えられる。
• SWAG と同様の文の完成形複数選択形式を用いてデータセットを構築するが、モデルの限界を露呈させるように意図的に設計された質問が含まれる。
• 性能評価は、2,800問のホールドアウトテストセットで実施され、SWAG で微調整した前後でモデルの性能を評価する。
• アブレーションスタディでは、CODAH のみで微調整した場合と、SWAG + CODAH で微調整した場合の性能を比較し、データセットサイズの影響を評価する。
• 答えのみのベースラインを用いて、答えの長さや構造といった「答えレベルのアーチファクト」がモデル性能に寄与しているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 人間が逆向きに設計した質問は、最先端のニューラルモデルと人間専門家との間の共通知識推論タスクにおける性能ギャップを顕著に縮小できるか？
• RQ2 BERT や GPT-1 といった既存モデルは、表面的な答えのパターンや文脈に依存しているのではなく、深層的な共通知識理解に基づいているのか？
• RQ3 数量的推論、否定、対象参照といった共通知識推論の種別の中で、現在のモデルが特に苦手としているのはどれか？
• RQ4 SWAG で微調整しても、CODAH のような逆向きに構築された新しいデータセットへの一般化性能は向上するのか、それとも性能ギャップは解消されないのか？
• RQ5 アノテーターが最新のモデルバージョンに適応しながら質問を生成する動的データ収集プロセスは、より頑健でスケーラブルなベンチマークを生み出せるか？

主な発見

• CODAH における人間の正答率は 95.3% であり、SWAG と SNLI で報告された 85.0% や 87.7% より顕著に高い。これは、CODAH の質問が真の共通知識推論を要することを確認している。
• 最良のモデル、BERT-Large でさえ、SWAG で微調整後も CODAH でたった 67.5% の正答率にとどまり、人間レベルの推論能力との顕著なギャップが示された。
• GPT-1 は交差検証で CODAH で 65.5% の正答率を記録したが、BERT-Large は CODAH で微調整することで 69.5% にまで向上した。両モデルとも逆向きの例題に対して苦戦していることが示された。
• 数量的推論に関する質問は、BERT も GPT も低正答率を示しており、両モデルに共通する数値的共通知識推論の弱みが浮き彫りになった。
• 答えのみのベースラインでは、BERT が 52.2%、GPT が 53.4% の正答率を示した。これは、答えの長さや構造といったアーチファクトだけではモデル性能を説明できず、真の共通知識推論が、妥当な答えと無意味な答えを区別するために不可欠であることを示している。
• データセットサイズを均等化した場合、CODAH は縮小版 SWAG よりも依然として困難であり、特に BERT では 7.7% の性能ギャップ（SWAG で 75.2% 対 CODAH で 67.5%）を示した。これは、CODAH がより頑健に難しい例題を含んでいることを示唆している。