[論文レビュー] Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims

Kevin Meng, Damian Jimenez+4 more|arXiv (Cornell University)|Feb 18, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 9

ひとこと要約

本論文は、検証価値のある事実的主張を検出するための、最初の敵対的正則化付きトランスフォーマー基盤の主張スコッパー・モデルを提案し、ClaimBusterおよびCLEF2019データセットにおいて、先行モデルより4.70のF1スコア向上を達成し、最先端の性能を実現した。この手法は、BERTベースのアーキテクチャを用いた主張分類タスクにおける頑健性と一般化性能を向上させるために、勾配ベースの敵対的訓練を適用している。

ABSTRACT

We present a study on the efficacy of adversarial training on transformer neural network models, with respect to the task of detecting check-worthy claims. In this work, we introduce the first adversarially-regularized, transformer-based claim spotter model that achieves state-of-the-art results on multiple challenging benchmarks. We obtain a 4.70 point F1-score improvement over current state-of-the-art models on the ClaimBuster Dataset and CLEF2019 Dataset, respectively. In the process, we propose a method to apply adversarial training to transformer models, which has the potential to be generalized to many similar text classification tasks. Along with our results, we are releasing our codebase and manually labeled datasets. We also showcase our models' real world usage via a live public API.

研究の動機と目的

• 大規模なテキストストリームにおける検証価値のある事実的主張の検出を、深層学習を用いて改善すること。
• 主張スコッピングシステムにおけるモデルの頑健性と一般化性能の制限に取り組むこと。
• 自然言語理解タスクにおけるトランスフォーマー基盤モデルに特化した、新たな敵対的訓練フレームワークの開発。
• コミュニティ研究を支援するため、公開可能で高品質なデータセットとコードベースの提供。
• ライブ公開APIを活用して、主張スコッピングモデルの実世界での導入可能性を向上させること。

提案手法

• トランスフォーマー・モデルに特化した、勾配ベースの敵対的訓練手法を提案し、入力の摂動を用いて頑健性を向上させる。
• 入力埋め込みの勾配上行法を用いて生成された敵対的例を用いて、主張スコッピングデータ上でBERTベースのアーキテクチャを微調整する。
• 意味を保持したまま入力トークンを摂動することで、敵対的主張を生成するデータ拡張戦略を導入する。
• 事前学習段階（一般NLPタスクで）と敵対的微調整段階（主張価値分類で）の2段階訓練プロセスを採用する。
• 標準的な交差エントロピー損失と敵対的損失を組み合わせた損失関数を用い、モデルの一般化性能と頑健性を最適化する。
• 敵対的訓練中にラベルスムージングとドロップアウトを適用し、モデルの正則化をさらに強化し、過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、主張スコッピングタスクにおけるトランスフォーマー基盤モデルの性能と頑健性を向上させることができるか？
• RQ2 敵対的正則化は、リソースが限られたまたはノイズの多い主張データセットにおける一般化にどのように影響するか？
• RQ3 敵対的訓練を施したトランスフォーマーは、ベンチマーク主張価値検出データセットにおいて、非敵対的ベースラインをどの程度上回るか？
• RQ4 敵対的訓練は、事実的主張検出における同義語置換や意味的摂動に対する脆弱性を軽減できるか？
• RQ5 本手法は、政治的討論やニュースコンテンツなど多様なドメインにどのようにスケーリングできるか？

主な発見

• 提案された敵対的訓練を施したトランスフォーマー・モデルは、ClaimBusterデータセットにおいて、以前の最先端モデルより4.70ポイントのF1スコア向上を達成した。
• CLEF2019ベンチマークでは、F1スコアが0.5181に達し、以前の最良モデル（CB-BBA）を0.0604ポイント上回った。
• 非敵対的ベースラインと比較して、同義語置換などの敵対的摂動に対しても優れた頑健性を示した。
• 敵対的訓練の導入により、CLEF2019評価におけるリtrievalおよび分類タスクのmAPおよびnDCGスコアが向上した。
• 希少な主張タイプと一般的な主張タイプの両方において、高い精度と再現率を維持しており、バランスの取れた性能を示した。
• コードベースと手作業でアノテートされたデータセットの公開により、自動的主張検出分野におけるコミュニティ研究が加速すると期待される。