[論文レビュー] Adversarial Model Extraction on Graph Neural Networks

David DeFazio, Arti Ramesh|arXiv (Cornell University)|Dec 16, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 9

ひとこと要約

本稿は、グラフニューラルネットワーク（GNN）における敵対的モデル抽出の最初の形式的分析を提示する。本手法は、反復的な部分グラフの摂動を介してブラックボックスの被害者モデルにクエリを送信することで、高忠実度のGNNを抽出する学習ベースの手法を提案する。CoraおよびPubMedデータセットにおいて、グラフ全体のわずか1.7%のノードしかアクセスできない状況下でも、被害者モデルの予測を80%の忠実度で再現する。

ABSTRACT

Along with the advent of deep neural networks came various methods of exploitation, such as fooling the classifier or contaminating its training data. Another such attack is known as model extraction, where provided API access to some black box neural network, the adversary extracts the underlying model. This is done by querying the model in such a way that the underlying neural network provides enough information to the adversary to be reconstructed. While several works have achieved impressive results with neural network extraction in the propositional domain, this problem has not yet been considered over the relational domain, where data samples are no longer considered to be independent and identically distributed (iid). Graph Neural Networks (GNNs) are a popular deep learning framework to perform machine learning tasks over relational data. In this work, we formalize an instance of GNN extraction, present a solution with preliminary results, and discuss our assumptions and future directions.

研究の動機と目的

• グラフ構造データという関係的かつ非i.i.d.なドメインにおけるモデル抽出問題を形式化すること。
• ブラックボックスの被害者GNNへのAPIアクセスのみを用いて、GNNモデルを学習ベースで抽出する手法を開発すること。
• 部分グラフへのアクセス制限や敵対的摂動コストといった現実的な制約下でのGNNモデル抽出の実現可能性と忠実度を評価すること。
• スケーラブルで静か（検知されにくい）なGNN抽出のための主な仮定、限界、および今後の研究方向性を特定すること。

提案手法

• 本手法は、被害者のグラフの部分グラフを摂動させることでサーヴィレートGNNを構築する。各摂動はノード特徴量を変更するか、ノードの追加・削除を伴う。
• 各摂動された部分グラフに対して、被害者GNNをクエリし、ノードレベルの予測を取得する。これらの予測をラベルとして用い、抽出モデルを学習する。
• 抽出モデルは、各クラスを表す異なる部分グラフのブロック対角行列上で学習される。これにより、クラスカバレッジが保証される。
• 摂動が構造的および特徴量の分布を十分に保つものと仮定しており、被害者GNNから情報豊富な予測を引き出せるものとする。
• 抽出モデルとしてGCNを用い、真のラベルではなく被害者モデルの予測を再現することを目的とする。これにより、機能的同等性に焦点を当てる。
• 実験では、部分グラフのサンプル数と部分グラフのサイズを変化させ、さまざまなクエリ制約下での忠実度を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的モデル抽出は、関係的かつ非i.i.d.な設定であるGNNに効果的に適用可能か？
• RQ2 アクセス可能な部分グラフのサイズと、摂動されたサンプル数が、抽出されたGNNの忠実度にどのように影響するか？
• RQ3 ブラックボックスクエリアクセス下での学習ベースのGNN抽出における主な仮定と限界は何か？
• RQ4 現実のグラフ環境において、モデル抽出をよりスケーラブルかつ検知されにくくするにはどうすればよいか？
• RQ5 被害者GNNからの説明可能情報や勾配情報は、抽出忠実度の向上に寄与するか？

主な発見

• 提案手法は、CoraおよびPubMedの引用ネットワークにおいて、被害者GNNの予測を最大80%の忠実度で再現する。これは、部分グラフへのアクセスが限定的であっても成立する。
• Coraでは、平均45.9ノード（全ノードの1.7%）の部分グラフを用いて、10個のランダムノードに対して平均77%の忠実度を達成した。
• クラスごとに100個のサンプルを使用した場合、Coraでは83%、PubMedでは83%の忠実度に到達した。
• 小さな部分グラフでは、サンプル数の増加に伴い忠実度が著しく向上したが、大きな部分グラフでは少ないサンプル数でも高い忠実度が達成された。
• テスト分布とは異なる合成的・摂動されたグラフ分布上で学習を行っても、本手法は依然として有効である。これは、分布シフトに対して強いロバストネスを示している。
• 現在の手法は、GCNの伝達的性質と多数の摂動が必要な点に制限されており、より良い一般化性能を求めるには、GraphSAGEのようなインダクティブGNNの導入が求められる。