[論文レビュー] A Survey of Trustworthy Graph Learning: Reliability, Explainability, and Privacy Protection

Bingzhe Wu, Jintang Li+18 more|arXiv (Cornell University)|May 20, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本サーベイは、信頼性、説明可能性、プライバシー保護を柱とする信頼性のあるグラフ学習（TwGL）について包括的かつ統一的なレビューを提供する。深層グラフ学習における信頼性、説明可能性、プライバシー保護の3つの次元にわたり、最先端の手法を分類し、敵対的攻撃やメンバー情報推定攻撃などの脅威を分析し、微分プライバシーとセキュアなマルチパーティ計算の技術を評価することで、将来の信頼性のあるGNN開発の基盤を提供する。

ABSTRACT

Deep graph learning has achieved remarkable progresses in both business and scientific areas ranging from finance and e-commerce, to drug and advanced material discovery. Despite these progresses, how to ensure various deep graph learning algorithms behave in a socially responsible manner and meet regulatory compliance requirements becomes an emerging problem, especially in risk-sensitive domains. Trustworthy graph learning (TwGL) aims to solve the above problems from a technical viewpoint. In contrast to conventional graph learning research which mainly cares about model performance, TwGL considers various reliability and safety aspects of the graph learning framework including but not limited to robustness, explainability, and privacy. In this survey, we provide a comprehensive review of recent leading approaches in the TwGL field from three dimensions, namely, reliability, explainability, and privacy protection. We give a general categorization for existing work and review typical work for each category. To give further insights for TwGL research, we provide a unified view to inspect previous works and build the connection between them. We also point out some important open problems remaining to be solved in the future developments of TwGL.

研究の動機と目的

• 金融や医療などリスク感受性の高い分野における信頼性のある深層グラフ学習（DGL）の需要増に応えること。
• グラフニューラルネットワーク（GNN）における信頼性、説明可能性、プライバシー保護の既存アプローチを体系的にレビューすること。
• 信頼性のあるグラフ学習分野における多様な研究活動を共通の枠組みの下に統合し、主要な技術的関連性を同定すること。
• 社会的責任を果たし、規制要件を満たすGNNシステムを構築するにあたり、顕在する未解決の問題と将来の研究方向性を浮き彫りにすること。

提案手法

• 信頼性のあるグラフ学習分野の既存研究を、信頼性（ノイズ、分布シフト、敵対的攻撃に対する耐性）、説明可能性（モデル解釈と特徴量の寄与度付与）、プライバシー保護（メンバー情報推定攻撃およびモデル抽出攻撃）の3つの核心的次元に分類する。
• グラフオートエンコーダ、耐障害性のあるGNNアーキテクチャ、データ精錬手法などの敵対的防御技術をレビューし、モデルのレジリエンスを向上させる。
• 勾配ベース、摂動ベース、アテンションベースのアプローチを含むGNNの説明可能性手法を分析し、モデルの透明性を向上させる。
• グラフ学習環境におけるメンバー情報推定、属性推定、モデル抽出攻撃などのプライバシー脅威を分析する。
• 勾配および埋め込みの保護に向けた微分プライバシー（DP）と、フェデレーテッドGNN学習における証明可能なセキュリティを提供するセキュアなマルチパーティ計算（MPC）を含むプライバシー保護技術を評価する。
• DPベース手法におけるユーティリティとプライバシーのトレードオフ、MPCベース手法における効率性とセキュリティのトレードオフを比較する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、敵対的攻撃、データノイズ、分布シフトに対してどのようにして耐性を高めることができるか？
• RQ2 GNNの予測に対して忠実で人間が解釈可能な説明を可能にする技術は何か？
• RQ3 グラフ学習における主なプライバシー脅威、特にメンバー情報推定攻撃およびモデル抽出攻撃とは何か？
• RQ4 微分プライバシーとセキュアなマルチパーティ計算は、GNNにおけるモデルおよびデータのプライバシー保護において、どのように比較されるか？
• RQ5 信頼性があり、信頼性があり、プライバシー保護が可能なグラフ学習システムを構築するにあたり、主な未解決の課題は何か？

主な発見

• 敵対的攻撃はGNNの性能を著しく低下させるが、グラフオートエンコーダ、データ精錬、アーキテクチャの変更によって耐性を向上させることができる。
• 勾配ベースおよび摂動ベースの説明可能性手法は、影響力のあるノードやエッジを特定するのに役立ち、モデルの透明性を向上させる。
• メンバー情報推定攻撃は、公開された埋め込みとブラックボックスアクセスを用いて、機微なグラフ的性質、トポロジー、サブグラフを再構築できる。
• モデル抽出攻撃は、再構築されたグラフとサーヴィェイモデルを用いてGNNの挙動を成功裏にクローン可能であり、攻撃者がノード属性と接続情報を入手できる場合に特に顕著である。
• 微分プライバシーは形式的なプライバシー保証を提供するが、ノイズの注入によりモデルのユーティリティが低下する傾向がある。
• セキュアなマルチパーティ計算は、最小限のユーティリティ損失で証明可能なプライバシーを実現できるが、GNNにおける非線形演算に対しては高い計算オーバーヘッドを伴う。