[論文レビュー] GNNLens: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks

Zhihua Jin, Yong Wang+4 more|arXiv (Cornell University)|Nov 22, 2020

Data Visualization and Analytics被引用数 6

ひとこと要約

GNNLensは、ノード特徴量、グラフトポロジー、モデル動作の across での誤りパターンを明らかにするために、複数のリンクされた可視化を統合する視覚的分析システムであり、GNNの予測誤りを診断する。GNN、MLP、GNNWUFモデルの比較分析を通じて、ユーザーが誤りの原因を特定・探索・仮説立てることができる。ケーススタディおよび専門家フィードバックを通じて有効性が示された。

ABSTRACT

Graph Neural Networks (GNNs) aim to extend deep learning techniques to graph data and have achieved significant progress in graph analysis tasks (e.g., node classification) in recent years. However, similar to other deep neural networks like Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), GNNs behave like a black box with their details hidden from model developers and users. It is therefore difficult to diagnose possible errors of GNNs. Despite many visual analytics studies being done on CNNs and RNNs, little research has addressed the challenges for GNNs. This paper fills the research gap with an interactive visual analysis tool, GNNLens, to assist model developers and users in understanding and analyzing GNNs. Specifically, Parallel Sets View and Projection View enable users to quickly identify and validate error patterns in the set of wrong predictions; Graph View and Feature Matrix View offer a detailed analysis of individual nodes to assist users in forming hypotheses about the error patterns. Since GNNs jointly model the graph structure and the node features, we reveal the relative influences of the two types of information by comparing the predictions of three models: GNN, Multi-Layer Perceptron (MLP), and GNN Without Using Features (GNNWUF). Two case studies and interviews with domain experts demonstrate the effectiveness of GNNLens in facilitating the understanding of GNN models and their errors.

研究の動機と目的

• GNN予測誤りの診断に向けた視覚的分析ツールの不足、特にスケールと誤りパターンの両面での課題に対処する。
• ノードレベルの特徴量、グラフ構造、モデル出力を関連付けることで、GNNが特定の誤りをなぜ犯すかをモデル開発者が理解できるように支援する。
• 特徴量とトポロジーの両方が予測誤りに与える影響を分離するために、GNNとMLP、GNNWUFモデルの比較分析を可能にする。
• 仮説形成とGNNにおける誤りパターンの発見を支援するインタラクティブでマルチビューのインターフェースを提供する。
• 実世界のGNN分析タスクにおけるケーススタディと専門家インタビューを通じて、本システムの実用性を検証する。

提案手法

• 本システムは、コントロールパネル、パラレルセットビュー、プロジェクションビュー、グラフビュー、特徴量マトリクスビューの5つのビューを統合し、相互にリンクされたインタラクティブな探索を可能にする。
• パラレルセットビューは、予測結果ごとのノード属性の分布を可視化し、誤りを起こしやすいグループの迅速な特定を可能にする。
• プロジェクションビューは、高次元のノードメトリクスを2次元空間にグリフで投影し、クラスタ検出とラッソベース選択を支援する。
• グラフビューは、ユーザーが選択したノードの周辺の局所的サブグラフをレンダリングし、予測に与えるトポロジカルな影響を分析する。
• 特徴量マトリクスビューはノード特徴量の分布を表示し、正しく予測されたものと誤った予測との間での特徴量比較を可能にする。
• 本システムは、GNN、MLP、GNNWUFの3つのモデルの予測を比較することで、特徴量とトポロジーの両方が予測誤りに与える相対的寄与を分離する。

実験結果

リサーチクエスチョン

• RQ1 GNNがグラフ構造とノード特徴量の両方に依存するという点を踏まえ、視覚的分析技術をGNNの誤りパターン診断に効果的に適応する方法は何か？
• RQ2 GNN予測におけるノード群の共通誤りパターンを発見するための可視化デザインは何か？
• RQ3 特徴量とトポロジーの両方がGNN誤りに与える影響を分離するために、GNNとMLPとGNNWUFの比較モデリングをどのように視覚的に統合できるか？
• RQ4 インタラクティブな視覚的分析ツール（例：GNNLens）は、実際のGNNワークフローにおける専門家の仮説形成とモデルデバッグをどの程度支援できるか？
• RQ5 ユーザーは、本システムの使いやすさと有効性をどのように評価しているか？

主な発見

• GNNLensは、特徴量、トポロジー、モデル出力のリンクされた可視化を用いた探索を通じて、GNN予測における繰り返し発生する誤りパターンの特定と検証を成功裏に可能にした。
• MLPとGNNWUFモデルとの比較分析により、ノード特徴量とグラフ構造の両方がGNN予測誤りに顕著な影響を与えていることが判明した。その寄与度はデータセットによって異なる。
• 専門家インタビューの結果、GNNLensは誤り原因に関する効果的な仮説生成を支援し、モデルの最適化に役立つ具体的なインサイトを提供していることが確認された。
• 階層的クラスタリングを強化したプロジェクションビューは、視覚的ごみの影響を受けるものの、最大300ノードの効果的な探索を可能にするスケーラビリティを向上させた。
• ユーザーはグリフベースのプロジェクションビューを当初は難しく感じたが、図例とビュー間のリンクされた強調表示が追加されたことで、大きな利益を得た。
• 2つの実世界のケーススタディにおいて、本システムは誤りパターンが特定の構造的または特徴関連の異常と関連していることを追跡可能にすることを示した。