[論文レビュー] Learning to Deceive Knowledge Graph Augmented Models via Targeted Perturbation

Mrigank Raman, Hansen Wang+7 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 39被引用数 7

ひとこと要約

この論文は、強化学習またはヒューリスティクスを用いて、下流の性能を維持しながら知識グラフ（KG）の意味的・構造的特性を著しく変更するように標的的な摂動を加えることで、KG拡張型ニューラル記号的モデルが欺かれる可能性を示している。主な貢献は、これらのモデルが誤ったKG入力を受けることに脆弱であることを暴露し、信頼性と解釈可能性を損なうものである。

ABSTRACT

Knowledge graphs (KGs) have helped neural-symbolic models improve performance on various knowledge-intensive tasks, like question answering and item recommendation. By using attention over the KG, such models can also explain which KG information was most relevant for making a given prediction. In this paper, we question whether these models are really behaving as we expect. We demonstrate that, through a reinforcement learning policy (or even simple heuristics), one can produce deceptively perturbed KGs which maintain the downstream performance of the original KG while significantly deviating from the original semantics and structure. Our findings raise doubts about KG-augmented models' ability to leverage KG information and provide plausible explanations.

研究の動機と目的

• KG拡張型モデルがKG情報を真に活用しているのか、それとも単に表面的なパターンを利用しているのかを調査すること。
• これらのモデルが意味的に欺瞞的なKG摂動に対してどれほど頑健であるかを評価すること。
• モデルの性能を維持しながら構造的・意味的特性を変更するような摂動を加えたKGを生成する手法を開発すること。
• これらのモデルにおける注目メカニズムが真の知識利用を反映しているのか、それとも簡単に欺されやすいのかを評価すること。
• KG上の注目が真の知識利用を反映しているという仮定を疑うこと。

提案手法

• 強化学習ポリシーを訓練し、モデルを欺くようにKGのエッジやエンティティを標的的に摂動する。
• ポリシーは、元のKGの構造的・意味的特性からの逸脱を最大化すると同時に、モデルの下流性能を維持するように最適化される。
• RLの代替手段として、欺瞞的なKGを生成するための単純なヒューリスティクスベースの摂動戦略も検討されている。
• 摂動は推論の前にKGに適用され、モデルの予測結果について性能と注目説明の両方が評価される。
• 摂動に対する注目重みの変化の程度を評価し、説明の信頼性を検証する。
• 摂動を加えたKGがモデル性能を低下させないよう、下流タスクの正答率に基づく報酬信号が使用される。

実験結果

リサーチクエスチョン

• RQ1 標的的なKG摂動によって、KG拡張型モデルの性能を維持しながら、その意味的・構造的特性を著しく変更することは可能か？
• RQ2 KG拡張型モデルにおける注目メカニズムは、真の知識利用をどれだけ反映しているのか、それとも簡単に操作可能なのか？
• RQ3 強化学習とヒューリスティクス手法は、モデル性能を維持するような欺瞞的KGを生成するためにどれほど有効か？
• RQ4 摂動を加えたKGは、一見妥当なが、誤った説明を生み出し、モデルの解釈可能性を損なうのか？
• RQ5 モデルが意味的歪みに対して頑健であるということは、KG情報にどれほど依存しているのかを示唆するのか？

主な発見

• 提案された摂動手法は、KGの構造的・意味的特性に著しい変更が加えられても、KG拡張型モデルの下流性能を効果的に維持できた。
• モデル内の注目メカニズムは頻繁に欺かれ、摂動されたグラフにおける無関係または破損したKG事実に高い注目を割り当てていた。
• 単純なヒューリスティクスベースの摂動ですら、誤ったまたは欺瞞的なKG情報に基づいて正しい予測を下すモデルを欺くことができた。
• モデルは摂動を加えたKGに対して高い性能を示したが、これはKGを意味的に活用しているのではなく、むしろデータセットバイアスや構造的パターンに依存している可能性を示唆している。
• モデルが生成する注目説明は、しばしば一見妥当ではあるが事実とは異なることが多く、その解釈可能性に懸念が生じる。
• 結果から、KG拡張型モデルが真に知識グラフを推論に活用しているのではなく、むしろデータセットバイアスや構造的パターンを巧みに利用している可能性が示唆された。