[論文レビュー] Defending Against Disinformation Attacks in Open-Domain Question Answering

Orion Weller, Aleem Ahmed Khan+3 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、オープンドメイン質問応答（ODQA）におけるデータ汚染攻撃に対する防御を、クエリ拡張を活用して多様で汚染度の低いパスを検索し、信頼性を向上させる新しい信頼性手法である回答の重複からの信頼性（CAR）を導入することで提案する。勾配更新を必要とせず、さまざまな汚染レベルにおいて正確一致（exact match）がほぼ20ポイント向上する。既存のODQAシステムに容易に統合可能なシンプルで効果的な防御手法である。

ABSTRACT

Recent work in open-domain question answering (ODQA) has shown that adversarial poisoning of the search collection can cause large drops in accuracy for production systems. However, little to no work has proposed methods to defend against these attacks. To do so, we rely on the intuition that redundant information often exists in large corpora. To find it, we introduce a method that uses query augmentation to search for a diverse set of passages that could answer the original question but are less likely to have been poisoned. We integrate these new passages into the model through the design of a novel confidence method, comparing the predicted answer to its appearance in the retrieved contexts (what we call Confidence from Answer Redundancy, i.e. CAR). Together these methods allow for a simple but effective way to defend against poisoning attacks that provides gains of nearly 20% exact match across varying levels of data poisoning/knowledge conflicts.

研究の動機と目的

• 悪意ある攻撃者がWikipediaのような知識ソースを改ざんすることでモデル性能を低下させる、オープンドメイン質問応答（ODQA）におけるデータ汚染攻撃の増加する脅威に対処すること。
• 再訓練を必要とせず、既存のODQAパイプラインに統合可能な実用的で勾配ベースでない防御を構築すること。
• 大規模コーパス内の重複を活用することで、知識の矛盾や不正情報に対して耐性を高めること。
• 現実的な攻撃シナリオ下で、クエリ拡張と新しい信頼性メカニズムの有効性を評価すること。

提案手法

• 汚染されにくい代替のパスを検索できるように、多様で意味的に関連するクエリを生成するクエリ拡張戦略を提案する。
• 回答の一貫性を複数の検索コンテキスト間で比較することで信頼性を評価する、信頼性スコアリング手法「回答の重複からの信頼性（CAR）」を導入する。
• CARを用いて、元のクエリまたは拡張クエリからの予測を信頼するかどうかを決定し、複数のソースで高い重複度を示す方を優先する。
• 簡単な解決戦略を採用：複数の拡張パスで答えが一貫して予測される場合、その答えを選択する。そうでない場合は、元の答えを使用する。
• モデルの微調整や勾配更新を必要とせず、FiD や Atlas などの既存ODQAモデルに適用可能である。
• GPT-3 を用いて拡張クエリを生成し、標準的な検索と推論手順に依存するため、計算コストの増加は最小限にとどまる。

実験結果

リサーチクエスチョン

• RQ1 データ汚染攻撃下のオープンドメインQAにおいて、クエリ拡張は代替的で汚染度の低いパスを検索するのに有効か？
• RQ2 証拠が矛盾したり汚染されたりした場合に、回答の重複からの信頼性（CAR）は信頼できる予測を効果的に特定できるか？
• RQ3 大規模コーパス内の重複は、ODQAにおける不正情報攻撃に対してどの程度耐性を高められるか？
• RQ4 提案手法は、さまざまな汚染レベルと異なるODQAモデルにおいて、どの程度の性能を示すか？

主な発見

• 提案手法は、さまざまな汚染レベルにおいて正確一致（exact match）がほぼ20ポイントの絶対的向上を達成し、ベースラインモデルを大きく上回った。
• 1つの拡張クエリを使用するだけでもベースラインを上回る性能を示し、追加のクエリ数が増えるほど性能向上が顕著になった。
• CARの信頼性スコアでは、重複基準を満たすクエリと満たさないクエリの間で正確一致に約65ポイントの大きな差が観察された。
• 100件の汚染済み記事があっても、パラメトリック知識や答えの文字列エイリアスのおかげで性能が0%にまで低下しなかった。これは一部の状況でモデル自体に inherently の耐性があることを示している。
• 汚染が記事レベルの編集に限定されていても、共有コンテンツのおかげで複数のパスに影響を及ぼす場合でも、本手法は依然として有効であった。
• メジャリティ投票やCAR単体のフィルタリングといった代替の回答解決戦略は、提案された重複に基づく手法に比べて性能が劣った。