[論文レビュー] Accenture at CheckThat! 2020: If you say so: Post-hoc fact-checking of claims using transformer-based models

Evan Williams, Paul Rodrigues+1 more|arXiv (Cornell University)|Sep 5, 2020

Topic Modeling参考文献 23被引用数 12

ひとこと要約

本論文では、RoBERTaおよびBERTモデルを英語およびアラビア語のデータセット上で微調整することで、ポスト・ホックで事実確認が必要なソーシャルメディアの主張を特定・順位付けするトランスフォーマー基盤の手法を提示している。この手法は最先端の結果を達成し、英語トラックで1位（mAP = 0.8064）、アラビア語トラックで1位から4位までを獲得（P@30は最大0.7000）、低リソースのアラビア語データに対してバックトランスレーションが性能向上に顕著に寄与した。

ABSTRACT

We introduce the strategies used by the Accenture Team for the CLEF2020 CheckThat! Lab, Task 1, on English and Arabic. This shared task evaluated whether a claim in social media text should be professionally fact checked. To a journalist, a statement presented as fact, which would be of interest to a large audience, requires professional fact-checking before dissemination. We utilized BERT and RoBERTa models to identify claims in social media text a professional fact-checker should review, and rank these in priority order for the fact-checker. For the English challenge, we fine-tuned a RoBERTa model and added an extra mean pooling layer and a dropout layer to enhance generalizability to unseen text. For the Arabic task, we fine-tuned Arabic-language BERT models and demonstrate the use of back-translation to amplify the minority class and balance the dataset. The work presented here was scored 1st place in the English track, and 1st, 2nd, 3rd, and 4th place in the Arabic track.

研究の動機と目的

• ジャーナリストの情報過多を軽減するため、専門的な事実確認が必要なソーシャルメディアの主張を同定・順位付けする機械学習システムの開発。
• データ拡張技術によるモデルの汎化能力向上を通じて、アラビア語における低リソースNLPの課題に対処すること。
• 事前学習済みトランスフォーマーモデル（BERT、RoBERTa）を用いたトランスファー学習を、多言語のソーシャルメディアテキストにおける主張の分類および優先順位付けに適用すること。
• バックトランスレーションおよび前処理戦略が、不均衡なアラビア語主張検出データにおけるモデル性能に与える影響を評価すること。
• 信頼性があり説明可能でスケーラブルな事実確認推薦システムを構築することで、分野専門家の意思決定ワークフローを支援すること。

提案手法

• 英語およびアラビア語のソーシャルメディアデータセットに対して、主張のチェック対象性をアノテート済みのRoBERTaおよびアラビア語BERTモデルを微調整した。
• 未知のテキストに対して汎化性能を向上させるために、英語モデルに平均プーリング層とドロップアウトを追加した。
• アラビア語トレーニングセットの少数クラスを増強するために、バックトランスレーション（アラビア語 → 英語 → アラビア語）を適用し、モデルの頑健性を向上させた。
• 発音記号の除去、URL、標点、ストップワードの除去を含む複数の前処理戦略を評価したが、性能向上が見られなかったため、すべての前処理を除外した。
• 順位付け性能の評価指標として、保持されたテストセットにおけるprecision at k（P@k）およびmean average precision（mAP）を用いた。
• モデルのバリエーションを比較するための内部評価を実施し、提出用に最良のパフォーマンスを示す設定を選定した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTaおよびBERTモデルは、最小限の微調整と限られたラベル付きデータで、ソーシャルメディアテキスト内のチェック対象となる主張を効果的に同定できるか？
• RQ2 バックトランスレーションは、低リソースで不均衡なアラビア語主張検出データセットにおけるモデル性能をどのように向上させるか？
• RQ3 多言語主張検出におけるトランスフォーマーモデルのパフォーマンスに、さまざまな前処理技術が与える影響は何か？
• RQ4 事前学習モデルを用いたトランスファー学習は、事実確認システムにおける大規模なアノテート済みデータの必要性を低減できるか？
• RQ5 バックトランスレーションによるデータ拡張は、ラベル漏洩を引き起こさずに、アラビア語主張検出におけるクラス不均衡をどの程度緩和できるか？

主な発見

• Accentureチームは、mAPが0.8064の成績で英語トラックで1位を獲得し、他の提出物を上回った。
• アラビア語トラックでは、P@30が0.7000、0.6750、0.6694、0.6639を記録し、1位から4位までを獲得した。
• バックトランスレーション（アラビア語 → 英語 → アラビア語）により、モデル性能が顕著に向上し、P@30が未加工時（0.6694）からアップサンプリング時（0.7000）に上昇した。
• 発音記号やURL、標点の除去といった前処理手順は性能向上に寄与せず、最終的にすべて除外された。
• バックトランスレートドデータの活用が、テストされたすべての技術の中で最大のパフォーマンス向上をもたらし、ハイパーパramータチューニングやデータバランス調整をも上回った。
• モデルは、トレーニングデータとテストデータのトピックシフトが生じたにもかかわらず、特にアラビア語トラックにおいて、未知のテストセットに対して強い汎化性能を示した。