[論文レビュー] Story Ending Prediction by Transferable BERT

Zhongyang Li, Xiao Ding+1 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 22被引用数 11

ひとこと要約

本稿では、自然言語推論（MNLI）、センチメント分類、次行動予測といった意味的に関連する教師ありタスクで微調整することで、物語の終わりの予測に向けたBERTの性能を向上させる三段階の転移学習フレームワーク、TransBERTを提案する。SCT_v1.0では91.8%、SCT_v1.5では90.3%の精度を達成し、多様なタスクからの転送可能な知識を活用することでモデルの初期化を改善することで、新たな最先端の結果を樹立した。

ABSTRACT

Recent advances, such as GPT and BERT, have shown success in incorporating a pre-trained transformer language model and fine-tuning operation to improve downstream NLP systems. However, this framework still has some fundamental problems in effectively incorporating supervised knowledge from other related tasks. In this study, we investigate a transferable BERT (TransBERT) training framework, which can transfer not only general language knowledge from large-scale unlabeled data but also specific kinds of knowledge from various semantically related supervised tasks, for a target task. Particularly, we propose utilizing three kinds of transfer tasks, including natural language inference, sentiment classification, and next action prediction, to further train BERT based on a pre-trained model. This enables the model to get a better initialization for the target task. We take story ending prediction as the target task to conduct experiments. The final result, an accuracy of 91.8%, dramatically outperforms previous state-of-the-art baseline methods. Several comparative experiments give some helpful suggestions on how to select transfer tasks. Error analysis shows what are the strength and weakness of BERT-based models for story ending prediction.

研究の動機と目的

• 標準的な事前学習と微調整に依存するBERTの限界、すなわち、無教師言語モデリングにのみ依存し、ターゲットタスクの最適な初期化をもたらさない可能性がある点を是正すること。
• 関連するタスクからの教師あり知識が、物語の終わりの予測（SCT）のパフォーマンス向上にどのように効果的に転送されるかを調査すること。
• 効果的な転送タスクを同定し、意味的関連性とパフォーマンス向上の観点からそれらを選択するためのガイドラインを提供すること。
• エラー分析を通じて、BERTベースのモデルの物語理解における強みと弱みを分析すること。

提案手法

• 三段階のTransBERTフレームワークを提案：(1) 大規模な未ラベル付きテキストでBERTを事前学習し、(2) 転移学習を用いて自然言語推論（MNLI）、センチメント分類、次行動予測の3つの教師ありタスクでさらに事前学習し、(3) ターゲットのSCTタスクで微調整する。
• SCTと意味的に関連するタスクを用いる：MNLIは含意／矛盾推論に、センチメント分類は心的状態理解に、次行動予測は物語の継続に寄与する。
• マルチタスク学習戦略を採用し、SCTでの微調整の前に、BERTエンコーダーに知識蒸留を可能にする形で、複数の転送タスクを同時に事前学習する。
• タスク固有のパラメータを最小限に抑え、事前学習済みBERT重みを維持しつつ、SCTの複数選択形式に適応する形で最終モデルを微調整する。
• 各転送タスクの寄与度を評価するための広範なアブレーションスタディを実施し、単一タスクとマルチタスク事前学習の比較を行う。
• エラー分析を実施し、失敗事例を特定し、推論および常識的理解におけるモデルの挙動を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数の意味的に関連する教師ありタスクからの知識転送が、標準的な事前学習と微調整を超えて、BERTの物語の終わりの予測性能を向上させることができるか？
• RQ2 自然言語推論、センチメント分類、次行動予測のうち、どの種類の転送タスクが物語の終わりの予測に最も有益か？
• RQ3 複数の転送タスクでマルチタスク事前学習を行うことで、単一タスク事前学習よりも高いパフォーマンスが得られるか？
• RQ4 BERTベースのモデルが物語の終わりの予測で示す主な失敗モードは何か？また、それらは推論や常識的理解とどのように関連しているか？

主な発見

• MNLIを活用したBERTモデルは、SCT_v1.0ベンチマークで91.8%の精度を達成し、以前の最先端手法を顕著に上回った。
• より最近のSCT_v1.5の盲検定セットでも90.3%の精度を達成し、優れた汎化性能とロバストネスを示した。
• MNLIからの転送が最も顕著なパフォーマンス向上をもたらし、次にセンチメント分類、次に次行動予測の順に寄与度が高かった。これは含意推論がSCTにとって極めて関連性が高いことを示唆している。
• 3つの転送タスクを同時にマルチタスク事前学習しても、単一タスク事前学習の結果に比してさらなる向上は得られず、MNLIが主な寄与要因であることが示唆された。
• エラー分析から、BERTベースのモデルは長距離依存関係や暗黙の常識的推論に苦労しており、特に正しい終わりが微妙な感情的・心理的変化を要する場合に問題を示した。
• 本研究は、実用的な転送タスク選定ガイドラインを提供した：タスクはターゲットタスクと意味的に関連しており、タスクの定式化が異なっていても、背後にある推論パターンが類似していることが望ましい。