[論文レビュー] Information Obfuscation of Graph Neural Networks

Peiyuan Liao, Han Zhao+5 more|arXiv (Cornell University)|Sep 28, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 8

ひとこと要約

本稿では、全変動および Wasserstein 距離を用いた adversarial training を通じて、機密属性を隠蔽することで、グラフニューラルネットワークに対する推論攻撃から防御するミニマックスフレームワークである Graph Adversarial Networks (GAL) を提案する。この手法は、最小限の性能低下で強力なプライバシー保護を実現し、Movielens-1M において性別属性の推論 AUC を 10% 減少させる一方で、タスクの精度に 3% の損失しか与えない。

ABSTRACT

While the advent of Graph Neural Networks (GNNs) has greatly improved node and graph representation learning in many applications, the neighborhood aggregation scheme exposes additional vulnerabilities to adversaries seeking to extract node-level information about sensitive attributes. In this paper, we study the problem of protecting sensitive attributes by information obfuscation when learning with graph structured data. We propose a framework to locally filter out pre-determined sensitive attributes via adversarial training with the total variation and the Wasserstein distance. Our method creates a strong defense against inference attacks, while only suffering small loss in task performance. Theoretically, we analyze the effectiveness of our framework against a worst-case adversary, and characterize an inherent trade-off between maximizing predictive accuracy and minimizing information leakage. Experiments across multiple datasets from recommender systems, knowledge graphs and quantum chemistry demonstrate that the proposed approach provides a robust defense across various graph structures and tasks, while producing competitive GNN encoders for downstream tasks.

研究の動機と目的

• GNN が埋め込みから機密ノード属性を抽出する推論攻撃に対して脆弱であるという問題を解決する。
• 予測の有用性を保ちつつ、機密属性に関する情報漏洩を最小限に抑える防御機構を開発する。
• 最悪の敵を模擬するミニマックス学習目的を定式化し、ノードレベルおよび近隣レベルの両方の推論攻撃に対して耐性を高める。
• グラフ構造データにおける予測精度と情報隠蔽の間の本質的トレードオフを定量化する。
• 知識グラフ、レコメンデーションシステム、量子化学データセットを含む多様なグラフタイプにおいて、強力な耐性を示すことを実証する。

提案手法

• GNN エンコーダと模擬された最悪の敵との間でミニマックスゲームを定式化し、属性推論に対して耐性を持つ表現を学習する。
• 全変動と Wasserstein 距離の双対表現を正則化項として用い、機密属性に関する情報漏洩をペナルティ化する。
• GNN エンコーダを、タスク損失を最小化すると同時に、機密属性の予測誤差を最大化するように訓練する。
• 訓練中に n ホップ近隣攻撃を効率的にシミュレートするためのモンテカルロサンプリング戦略を導入し、マルチホップ推論攻撃に対するスケーラブルな防御を可能にする。
• 情報フィルタリングの強度を制御するハイパーパrameter λ を用いて、精度と隠蔽のトレードオフを最適化する。
• GNN エンコーダをエンドツーエンドで訓練し、下流タスクにおいて高い精度を発揮すると同時に、属性推論に対して耐性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 最悪の敵を想定した adversarial training は、GNN 埋め込みにおける機密属性に関する情報漏洩を効果的に低減できるか？
• RQ2 本フレームワーク下で、GNN における予測精度と情報隠蔽の理論的トレードオフはどのように定式化されるか？
• RQ3 本手法は、遠く離れた近隣ノードの埋め込みにアクセスできる近隣レベルまたは n ホップ推論攻撃に対し、どのように性能を発揮するか？
• RQ4 強力なプライバシー保証を達成しつつ、下流タスクにおける有用性をどの程度維持できるか？
• RQ5 複雑な構造と多様なデータタイプを持つ大規模グラフに、本手法はどの程度スケーラブルに適用できるか？

主な発見

• 提案された GAL フレームワークは、Movielens-1M データセットにおいて、性別属性の攻撃者 AUC を 10% 減少させる一方で、下流タスクの性能に 3% の低下しか引き起こさない。
• 任意の最悪の敵に対して推論誤差の理論的下限を保証するため、属性推論に対して理論的耐性を有する。
• ハイパーパrameter λ が大きくなるにつれて、ノードレベルおよび近隣レベルの両方の敵の性能が著しく低下し、特に λ が小さい値のとき、近隣レベルの隠蔽がより効果的であることが示された。
• フレームワークは n ホップ攻撃に対しても有効であり、攻撃成功確率の低下度はホップ数が増えるにつれて増加するが、近隣ノードの取得に確率的サンプリングが用いられるため、変動が生じる。
• 精度と隠蔽のトレードオフは、入力特徴におけるターゲットタスクと機密属性の相関に比例することが、理論的に導出された。
• レコメンデーションシステム、知識グラフ、量子化学の6つのベンチマークデータセットにおける実験から、GAL は競争力のある GNN エンコーダを生成するとともに、強力なプライバシー保証を提供することが示された。