[論文レビュー] TTTTTackling WinoGrande Schemas

Sheng-Chieh Lin, Jheng-Hong Yang+4 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling参考文献 9被引用数 5

ひとこと要約

この論文は、WinoGrandeの常識的推論チャレンジに取り組むために、T5-3Bモデルを用いたシーケンス・ツー・シーケンスアプローチを提案する。各選択肢問題を、仮説と前提を持つ2つのテキスト・ツー・テキスト推論インスタンスに分解し、帰結／矛盾の確率を用いて正解を選択する。この手法は公式リーダーボードでSOTAのAUC 0.7673を達成し、以前のモデルを5ポイント以上上回った。

ABSTRACT

We applied the T5 sequence-to-sequence model to tackle the AI2 WinoGrande Challenge by decomposing each example into two input text strings, each containing a hypothesis, and using the probabilities assigned to the "entailment" token as a score of the hypothesis. Our first (and only) submission to the official leaderboard yielded 0.7673 AUC on March 13, 2020, which is the best known result at this time and beats the previous state of the art by over five points.

研究の動機と目的

• シーケンス・ツー・シーケンス事前学習アプローチを用いて、WinoGrandeの常識的推論ベンチマークにおける性能を向上させること。
• 複数選択の常識的推論タスクにおける曖昧または非対照的なモデル出力の課題に対処するため、論理的スコアベースの確率投票メカニズムを導入すること。
• T5の生成的機能が、RoBERTaのようなエンコーダー・オンリーモデルよりも、バイアスに強い常識的推論において優れているかどうかを検証すること。
• ターゲットトークンの選択（例：'帰結／矛盾' と '真／偽'）がモデル性能に与える影響を評価すること。
• WinoGrandeにおけるSOTA性能が、真の推論の進歩を反映しているのか、それとも残存するデータセットバイアスの利用に過ぎないのかを特定すること。

提案手法

• 各WinoGrandeの例は、空白を各選択肢に置き換えた2つの入出力ペアに分解され、モデルは得られた文のペアが帰結するか矛盾するかを予測する。
• モデルは、'前提：' と '仮説：' のプレフィックスを含むテンプレートを用いて、テキスト・ツー・テキスト形式でT5-3Bをファインチューニングする。
• 推論時、両方の選択肢が独立にスコア付けされ、事前に定義されたターゲットトークン上でソフトマックスを用いて、'帰結' と '矛盾' の予測確率が比較される。
• 出力が一貫しない、または非対照的な場合に、'帰結' や '矛盾' の確率がより高い選択肢が投票戦略によって選ばれる。
• モデルはGoogle ColabのTPU v2で訓練され、バッチサイズ16、ベースファインチューニングレート$2 \cdot 10^{-4}$で、5000ステップごとにチェックポイントが保存される。
• 最終モデルは開発セットの性能に基づき選別され、推論にはグリーディデコードが用いられる。

実験結果

リサーチクエスチョン

• RQ1 T5のようなシーケンス・ツー・シーケンスモデルは、データセットバイアスを低減することを目的としたWinoGrandeベンチマークで、エンコーダー・オンリーモデルを上回ることができるか？
• RQ2 ターゲットトークンの選択（例：'帰結／矛盾' と '真／偽'）がモデル性能に顕著な影響を与えるか？
• RQ3 論理的スコアベースの確率投票戦略は、曖昧な予測ケースにおいてどれほど耐性を高めるか？
• RQ4 WinoGrandeにおける高い性能は、真の常識的推論の進歩を反映しているのか、それとも残存する統計的バイアスの利用に過ぎないのか？
• RQ5 T5の生成的事前学習能力は、純粋に自己回帰的言語モデリングに比べて、より優れた常識的推論を可能にするか？

主な発見

• この手法は、公式WinoGrandeテストセットでAUC 0.7673を達成し、提出時における最高の既知の結果であった。
• 論理的スコアベースの投票戦略は、特にモデル出力が非対照的または曖昧な場合に、性能向上に顕著に寄与した。
• より大きなトレーニングデータサイズ（最大XLまで）でファインチューニングすると、一貫した性能向上が得られ、最大データスプリットでは開発セットでAUC 0.854を記録した。
• '真／偽' をターゲットトークンとして使用しても、'帰結／矛盾' を使用した場合と同等の性能を示したが、ゼロショット設定では競争力のある結果を示した。
• 以前のSOTA手法（RoBERTaベース）を上回ったことから、T5の生成的機能が常識的推論において利点を発揮する可能性があることが示唆された。
• ゼロショット設定でも、論理的スコアのトリックにより、ランダムより明確に高い性能が得られたことから、この手法はファインチューニングの欠如に対しても頑健であることが示された。