[論文レビュー] Uncertainty Quantification over Graph with Conformalized Graph Neural Networks

Kexin Huang, Ying Jin+2 more|arXiv (Cornell University)|May 23, 2023

Advanced Graph Neural Networks被引用数 13

ひとこと要約

CF-GNN は conformal prediction をグラフ構造データに拡張し、ターゲットカバレッジを備えた保証された不確実性集合と著しい効率向上を提供します（最大で 74%）。

ABSTRACT

Graph Neural Networks (GNNs) are powerful machine learning prediction models on graph-structured data. However, GNNs lack rigorous uncertainty estimates, limiting their reliable deployment in settings where the cost of errors is significant. We propose conformalized GNN (CF-GNN), extending conformal prediction (CP) to graph-based models for guaranteed uncertainty estimates. Given an entity in the graph, CF-GNN produces a prediction set/interval that provably contains the true label with pre-defined coverage probability (e.g. 90%). We establish a permutation invariance condition that enables the validity of CP on graph data and provide an exact characterization of the test-time coverage. Moreover, besides valid coverage, it is crucial to reduce the prediction set size/interval length for practical use. We observe a key connection between non-conformity scores and network structures, which motivates us to develop a topology-aware output correction model that learns to update the prediction and produces more efficient prediction sets/intervals. Extensive experiments show that CF-GNN achieves any pre-defined target marginal coverage while significantly reducing the prediction set/interval size by up to 74% over the baselines. It also empirically achieves satisfactory conditional coverage over various raw and network features.

研究の動機と目的

• グラフニューラルネットワーク（GNN）における厳密な不確実性推定の不足に対処する。
• 変換予測CPを推論型グラフ設定に拡張して、保証されたカバレッジを得る。
• グラフの交換可能性と順序不変性の下でのテスト時カバレッジを特徴づける。
• CPの非効率性を低減するトポロジー認識補正を導入する。
• 多様なグラフデータセットにおける経験的妥当性と効率向上を示す。

提案手法

• Assumption 1 に従い、校準サンプルとテストサンプルの順序に不変な非適合度スコア V を用いた分割コンフォーマル予測を用いる。
• 妥当性を証明する: グラフの交換可能性の下で、CPはカバレッジを少なくとも1-αと与え、テスト時のカバレッジを正確に特徴づける（定理3）。
• CF-GNNを導入する: 基本のGNN予測を後処理する補正GNNで、近傍情報を活用してCPの非効率性を低減する。
• 保持した校正分割を用いて、CP集合のサイズ/区間を模擬する微分可能な非効率性損失で補正GNNを訓練する。
• V のデモンストレーションとして、2つの一般的な非適合度スコアを提供する（分類のためのAdaptive Prediction Set、回帰のためのCQR）。
• 基盤となるトレーニングプロセスを変更せずに、任意の事前訓練済みGNNとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル予測はグラフ上の推論型GNNに対して有効で目標カバレッジの不確実性セットを提供できるか。
• RQ2 グラフベースのデータ分割と順列不変性の下で、テスト時のカバレッジ分布は正確にはどうなるか。
• RQ3 カバレッジを損なうことなく、グラフにおけるCPの非効率性（集合サイズまたは区間長）をどのように低減できるか。
• RQ4 近傍情報を集約するトポロジー認識補正は、多様なデータセットとGNNアーキテクチャでCPの効率を改善するか。
• RQ5 CF-GNN予測はネットワーク特徴量に対して満足すべき条件付きカバレッジを維持するか。

主な発見

• CF-GNN は、ベースラインの UQ 手法が目標に達しないデータセットにおいて、目標の経験的周辺カバレッジを達成し、統計的妥当性を示した。
• 予測集合/区間のサイズが、基本GNNでの直接CPと比較して有意に削減されている（最大で74%）。
• この手法は順列不変性とグラフ交換可能性を保持し、妥当なカバレッジ保証を支持する。
• CF-GNNは様々なグラフ特徴量に対して満足すべき条件付きカバレッジを示し、実用的な信頼性を示唆する。
• 効率向上は、実験で用いられた基礎モデルを超える複数のGNNアーキテクチャに一般化する。