[論文レビュー] Transfer Learning from Transformers to Fake News Challenge Stance Detection (FNC-1) Task

Valeriya Slovikovskaya|arXiv (Cornell University)|Oct 31, 2019

Misinformation and Its Impacts被引用数 25

ひとこと要約

この論文は、事前学習されたトランスフォーマー モデル（BERT、XLNet、RoBERTa）からの転移学習を活用して、フェイクニュースチャレンジ（FNC-1）タスクにおけるステークス検出を改善しています。著者らは、FNC-1 データセット上で微調整されたモデルを用いて、最先端の結果を達成しました。特に RoBERTa が BERT や XLNet を上回り、前回の最良モデル（featMLP）と比較して関連クラスで8〜20%も顕著に優れています。

ABSTRACT

In this paper, we report improved results of the Fake News Challenge Stage 1 (FNC-1) stance detection task. This gain in performance is due to the generalization power of large language models based on Transformer architecture, invented, trained and publicly released over the last two years. Specifically (1) we improved the FNC-1 best performing model adding BERT sentence embedding of input sequences as a model feature, (2) we fine-tuned BERT, XLNet, and RoBERTa transformers on FNC-1 extended dataset and obtained state-of-the-art results on FNC-1 task.

研究の動機と目的

• 大規模な事前学習済みトランスフォーマー モデルからの転移学習を用いて、フェイクニュースチャレンジ（FNC-1）タスクにおけるステークス検出の性能を向上させること。
• BERT、XLNet、RoBERTa からの文脈依存埋め込みが、従来の特徴ベースのモデルを上回る分類性能をもたらすかどうかを評価すること。
• FNC-1 データセット上で、異なる事前学習モデル（BERT、XLNet、RoBERTa）の性能を比較し、ドメイン間での一般化能力を評価すること。
• Simple Transformers ライブラリを用いた再現可能でアクセスしやすい実装を提供し、コミュニティ全体が微調整済みモデルを利用できるようにすること。

提案手法

• FNC-1 拡張データセット上で、BERT、XLNet、RoBERTa のベースバージョンを 5 エポックのトレーニングスケジュールで微調整。バッチサイズは 4。
• 最大シーケンス長を 512 ツイートに設定。学習率は BERT に対して 3e-5、XLNet および RoBERTa に対して 1e-5。
• Hugging Face Transformers ライブラリと Simple Transformers ラッパーを活用して、モデルへのアクセスと微調整を簡素化。
• 前の最良モデル（featMLP）に BERT 文章埋め込みを追加の特徴として統合し、性能向上を図った。
• ドメイン間評価を実施。FNC-1 で微調整し、ARC でテストする、およびその逆の評価を実施し、モデルの一般化能力を評価。
• 標準指標（精度、再現率、F1スコア）を用いてモデルを評価。クラスごとおよび全体の性能を報告。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みトランスフォーマー モデルからの転移学習は、以前の最先端モデルと比較して、FNC-1 データセットにおけるステークス検出性能を顕著に向上させることができるか？
• RQ2 BERT、XLNet、RoBERTa といった異なる事前学習モデルは、FNC-1 ステークス検出タスクにおいて、どのように性能を発揮するか？
• RQ3 BERT 文章埋め込みを特徴として統合することで、既存のモデルアーキテクチャの性能は向上するか？
• RQ4 微調整済みモデルは、ARC ベンチマークのようなドメイン外データセットに対し、どの程度一般化できるか？
• RQ5 モデルアーキテクチャの選択が、ゼロショットまたはドメイン間転移性能に与える影響は何か？

主な発見

• 微調整済み RoBERTa は、FNC-1 テストセットで全体の F1 スコアが 85% に達し、同じ指標で BERT（71%）と XLNet（71%）を上回りました。
• 最良のモデル（RoBERTa）は、『unrelated』クラスで前回の最先端モデル（featMLP）と比較して F1 スコアが 20% 向上しました。
• 『agree』クラスでは、RoBERTa が F1 スコア 86% を達成したのに対し、featMLP モデルは 71% であり、相対的に 15% の改善が見られました。
• ドメイン間評価では、FNC-1 で微調整したモデルを ARC でテストした場合、RoBERTa は BERT や XLNet よりも性能が低く、ドメイン感受性が顕著に現れました。
• 混同行列の分析から、RoBERTa は『unrelated』クラスの誤分類率が最も低く（正例 20,838 個）、他のすべてのモデルを上回りました。
• BERT 文章埋め込みを特徴として統合することで、ベースラインの featMLP モデルの性能が向上し、ステークス検出における文脈依存表現の価値が裏付けられました。