[論文レビュー] Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge

Yu-Ping Ruan, Xiaodan Zhu+4 more|arXiv (Cornell University)|Apr 22, 2019

Topic Modeling参考文献 25被引用数 18

ひとこと要約

この論文は、BERTベースの自己教師あり事前学習、Raham-Ng データセットにおける微調整、およびモデルへの構文的依存構造の統合を統合的に活用することで、Winograd Schema Challenge において 71.1% の新しい最先端の精度を達成した。このアプローチは、依存構造モデリングがより難しい非関連的ケースにおいて一貫して性能向上をもたらすことを示しており、微調整は特に単純な関連的問題に対して顕著に効果的であることを示している。

ABSTRACT

Winograd Schema Challenge (WSC) was proposed as an AI-hard problem in testing computers' intelligence on common sense representation and reasoning. This paper presents the new state-of-theart on WSC, achieving an accuracy of 71.1%. We demonstrate that the leading performance benefits from jointly modelling sentence structures, utilizing knowledge learned from cutting-edge pretraining models, and performing fine-tuning. We conduct detailed analyses, showing that fine-tuning is critical for achieving the performance, but it helps more on the simpler associative problems. Modelling sentence dependency structures, however, consistently helps on the harder non-associative subset of WSC. Analysis also shows that larger fine-tuning datasets yield better performances, suggesting the potential benefit of future work on annotating more Winograd schema sentences.

研究の動機と目的

• 共通認識推論のためのAI難易度の高いベンチマークである Winograd Schema Challenge (WSC) における性能向上を目的とする。
• ルールベースや知識工学的特徴を広く用いずに、BERT などの最先端の事前学習モデルが WSC を解く効果性を調査すること。
• 微調整と構文的構造モデリングが WSC の異なるサブセット（関連的 vs. 非関連的）に与える影響を分析すること。
• 微調整データセットのサイズがモデル性能に与える影響を評価し、今後のデータ収集作業の提案を行うこと。

提案手法

• Raham-Ng データセット（人間がアノテートした Winograd スキーマ例のコレクション）に対して BERT-large を微調整した。
• 依存構文解析の情報を、2つの方法で BERT に統合した：内部モデリング（特定のレイヤー内のアテンションヘッドをマスク）と外部モデリング（依存木を符号化するための TransformerRNN を使用）。
• BERT の事前学習目的を活用するため、WSC を次文予測タスクとして定式化した。
• 複数の分割で性能を評価した：全 WSC、関連的／非関連的サブセット、およびスイッチング／スイッチングなし／一貫性ありのバリエーション。
• 微調整データのサイズを系統的に変化させ（0% から 100%）、データ効率性とスケーラビリティを評価した。
• 依存構造統合の効果を最も得られるレイヤーを特定するため、BERT レイヤーにマスク戦略を適用した。

実験結果

リサーチクエスチョン

• RQ1 小規模なアノテート済みデータセットでの微調整が、BERT の Winograd Schema Challenge における性能向上にどの程度寄与するか？
• RQ2 構文的依存構造を統合することで、より難しい非関連的サブセットの WSC における性能にどのような影響を与えるか？
• RQ3 微調整による性能向上は、関連的と非関連的 WSC インスタンスの間でどのように異なるか？
• RQ4 微調整データセットのサイズと最終的なモデル精度の相関関係はどのようになるか？
• RQ5 アーキテクチャ統合手法（内部 vs. 外部依存構造モデリング）のうち、BERT における WSC に対してより優れた結果をもたらすのはどちらか？

主な発見

• 提案されたモデルは、全 Winograd Schema Challenge において 71.1% の新しい最先端の精度を達成した。
• Raham-Ng データセットでの微調整が性能向上に不可欠であり、微調整率 0% の場合の 52.7% から 100% の場合の 71.1% まで精度が向上した。
• 微調整はより単純な関連的サブセットにおいてより大きな性能向上をもたらした（関連的サブセット：48.6% から 81.1% へ上昇）。非関連的サブセットでは 53.4% から 69.5% まで上昇した。
• BERT-large の最後の5つのレイヤーに依存構造をマスクすることで、最良の性能（71.1%）が得られ、非関連的ケースにおいて一貫した改善が確認された。
• 外部モデリング手法（例：TransformerRNN）は、特に BERT-large において、最良の内部モデリング設定を上回ることはなかった。
• より大きな微調整データセットがより良い性能をもたらし、精度は 60% の 66.7% から 100% の 71.1% まで単調に上昇した。これは、さらに多くのアノテート済みデータが結果を向上させられることを示唆している。