[論文レビュー] A Paragraph-level Multi-task Learning Model for Scientific Fact-Verification

Xiangci Li, Gully Burns+1 more|arXiv (Cornell University)|Dec 28, 2020

Topic Modeling参考文献 31被引用数 28

ひとこと要約

本稿では、BERTを用いたコン pact なパラグラフ符号化と、共同最適化による推論選択とスタンス予測を組み合わせることで、科学的 fact-verification のためのパラグラフレベルのマルチタスク学習モデルを提案する。文脈を考慮した文の表現を全パラグラフから得る動的アテンション機構を活用することで、SciFact ランキングで最先端の性能を達成し、文レベルの検証で60.9%のF1スコア、アブストラクトレベルの検証で67.2%のF1スコアを達成した。

ABSTRACT

Even for domain experts, it is a non-trivial task to verify a scientific claim by providing supporting or refuting evidence rationales. The situation worsens as misinformation is proliferated on social media or news websites, manually or programmatically, at every moment. As a result, an automatic fact-verification tool becomes crucial for combating the spread of misinformation. In this work, we propose a novel, paragraph-level, multi-task learning model for the SciFact task by directly computing a sequence of contextualized sentence embeddings from a BERT model and jointly training the model on rationale selection and stance prediction.

研究の動機と目的

• 低リソース状態下でも、支援または反証の根拠を伴う科学的主張を検証する課題に対処すること。
• パイプライン型の fact-verification システムにおける誤差伝搬を軽減するため、推論選択とスタンス予測を共同で学習すること。
• 個々の文の埋め込みではなく、文脈を考慮したパラグラフレベルの表現を活用することで、科学的 fact-verification の性能を向上させること。
• 低リソースな科学的 NLP 環境における事前学習とドメイン適応の有効性を評価すること。
• 既存のパイプライン手法を上回る、堅牢でエンドツーエンドのモデルを、SciFact ベンチマーク上で開発すること。

提案手法

• 主張と完全なパラグラフを1つのシーケンスとしてBERTに入力することで、コンパクトなパラグラフ符号化を実現し、文間をまたがるアテンションによる文脈化を可能にする。
• 推論選択とスタンス予測を共同で学習するマルチタスク学習を適用し、推論選択の信頼度スコアをスタンス予測のアテンション重みとして利用する。
• 迅速かつスケーラブルなアブストラクト検索のため、TF-IDFに代えてドメイン適応済みの文の埋め込み手法であるBioSentVec埋め込みを採用する。
• 訓練中にネガティブサンプリングを導入することで、誤ったアブストラクトに起因するノイズに強いモデルを構築し、一般化性能を向上させる。
• 事前学習とドメイン適応の2つの転移学習戦略を検討し、科学的 fact-verification におけるデータ不足を緩和する。
• 推論選択とスタンス予測モジュール間の情報伝達を可能にするために、動的アテンション機構を導入する。

実験結果

リサーチクエスチョン

• RQ1 パイプラインアプローチと比較して、推論選択とスタンス予測の共同学習は、fact-verification の性能向上に寄与するか？
• RQ2 全パラグラフをBERTに入力するコンパクトなパラグラフ符号化は、個別に文を符号化する方法と比較して、より優れた文脈化された文の表現を提供するか？
• RQ3 事前学習やドメイン適応といった転移学習戦略は、低リソースな科学的 fact-verification においてどれほど有効か？
• RQ4 ネガティブサンプリングの導入は、ノイズや誤った候補アブストラクトに対してモデルの頑健性を向上させるか？
• RQ5 パラグラフレベルのモデルは、文レベルのモデルを上回る性能を示せるか？

主な発見

• コンパクトなパラグラフ符号化は、文間をまたがるBERTの自己アテンションにより、より豊かな文脈化を可能にするため、個別な文の埋め込み計算よりも顕著に優れた性能を示した。
• ネガティブサンプリングを用いた共同学習は、パイプラインベースのアプローチを上回る性能を達成し、特にオープンテストセットにおいて誤差伝搬が軽減された。
• パラグラフ・ジョイントモデルは、SciFact ランキングで1位を獲得し、テストの文レベルF1スコアが60.9%、アブストラクトレベルF1スコアが67.2%を達成した。
• 共同学習による性能向上は、主にマルチタスク学習の枠組みのおかげであり、TF-IDFからBioSentVecに置き換えたことによる利点とは別に発生した。
• FEVER上で事前学習することとドメイン適応を行うことの両方が、有効な転移学習戦略であり、類似した性能向上をもたらしたため、初期化方法に頼らずに安定した性能が得られた。
• 強力な設計にもかかわらず、KGATは単純なアテンション機構よりも顕著な性能向上を示さなかった。これは、小規模なSciFactデータセットにおいて正則化が過剰になった可能性があるためである。