[論文レビュー] Uncertainty in Graph Neural Networks: A Survey

Fangxin Wang, Yuqing Liu+4 more|arXiv (Cornell University)|Mar 11, 2024

Neural Networks and Applications被引用数 7

ひとこと要約

グラフニューラルネットワーク（GNN）における不確実性の包括的な調査。不確実性の源、定量化手法、評価指標、下流タスクでの不確実性の活用方法を詳述。

ABSTRACT

Graph Neural Networks (GNNs) have been extensively used in various real-world applications. However, the predictive uncertainty of GNNs stemming from diverse sources such as inherent randomness in data and model training errors can lead to unstable and erroneous predictions. Therefore, identifying, quantifying, and utilizing uncertainty are essential to enhance the performance of the model for the downstream tasks as well as the reliability of the GNN predictions. This survey aims to provide a comprehensive overview of the GNNs from the perspective of uncertainty with an emphasis on its integration in graph learning. We compare and summarize existing graph uncertainty theory and methods, alongside the corresponding downstream tasks. Thereby, we bridge the gap between theory and practice, meanwhile connecting different GNN communities. Moreover, our work provides valuable insights into promising directions in this field.

研究の動機と目的

• GNNにおける予測不確実性の源を特定・分類する（アレータリック、不確実性?、分布的、およびその他）。
• GNNにおける不確実性の定量化手法をレビューする。単一決定論モデル、ランダムパラメータを持つ単一モデル、アンサンブルを含む。
• 定量化された不確実性を下流のグラフタスクと信頼性向上にどう活用するかを整理する（例: アクティブラーニング、OOD検出、異常検知）。
• 理論的な不確実性フレームワークと実践的なグラフ学習アプリケーションを結びつけ、今後の研究課題を提示する。

提案手法

• 不確実性定量化手法を3つの分類に整理する: 単一決定論モデル（直接、ベイズベース、頻度主義ベース）、ランダムパラメータを持つ単一モデル（ベイズ法、MCサンプリング）、アンサンブル/その他のアプローチ。
• 不確実性の評価指標を論じる（予測不確実性、MIによるモデル/データ不確実性、OOD検出のための分布的不確実性）と、普遍的な指標の欠如に言及する。
• グラフのアクティブラーニングと自己学習におけるノード選択での不確実性の利用を説明する。エントロピー、情報密度、多様性指標を含む。
• ノードレベル、エッジレベル、グラフレベルでの不確実性対応GNNモデリングを概説する。DropEdge、グラフガウス過程、ベイズGNNsなどのメカニズムを含む。

Figure 1: Overall Framework: (1) identifying sources of uncertainty (Section 2 ), (2) quantifying uncertainty (Section 3 ) and (3) utilizing uncertainty for downstream tasks (Section 4 ).

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークにおける不確実性の異なる源は何で、それらをどう分類できるか（アレータリック、エピステミック、分布的、空虚性/vacuity、不協和感など）？
• RQ2 GNNにおける不確実性を定量化する方法は何があり、モデルの仮定と計算コストの点でどのように異なるか？
• RQ3 定量化された不確実性を下流のグラフタスク（例: アクティブラーニング、異常検知、OOD検出、ロバスト性）にいかに効果的に活用できるか？

主な発見

• GNNにおける不確実性はデータの偶然性、モデル訓練の誤差、分布シフトに起因し、アレータリック、エピステミック、分布的源に分類できる。
• ベイズおよびアンサンブル法はよりリッチな不確実性推定を提供するが計算コストが高く、直接法および頻度主義的手法は効率性を提供する一方で校正品質は異なる。
• 不確実性の評価はタスクと源に依存し、最大ソフトマックス確率、エントロピー、相互情報、校正ベースの指標などがあるが普遍的な標準はない。
• ノード、エッジ、グラフレベルの不確実性対応手法（例: ConfGCN、DropEdge、UaGGP）はグラフ学習の堅牢性、OOD検出、解釈性に寄与する。
• グラフにおけるアクティブラーニングと自己訓練は不確実性シグナルの恩恵を受け、代表性と多様性と組み合わせて分布シフトを緩和することが多い。
• 異常検知タスク（OOD、外れ値、誤分類）全体に対して定量化手法を選択・適用する体系的なフレームワークが必要である。

Figure 2: Bridge uncertainty quantification models and evaluation methods by uncertainty sources. The diamond shape represents the separation of uncertainty sources. Quantification models linked to any diamond indicate their ability to separate the corresponding uncertainty source. We merge "Model U