[論文レビュー] GraphTSNE: A Visualization Technique for Graph-Structured Data

Yao Yang Leow, Thomas Laurent+1 more|arXiv (Cornell University)|Apr 15, 2019

Data Visualization and Analytics参考文献 22被引用数 10

ひとこと要約

GraphTSNE は、グラフ構造とノード特徴量を、グラフ畳み込みネットワーク（GCN）を用いて重み付き組み合わせのグラフ理論的および特徴ベースの t-SNE 損失で訓練することで、同時に活用する新しい可視化手法である。学習可能なハイパーパrameter α を用いて、これらの2つの要素のバランスをとることで、GraphTSNE は構造的接続性と特徴クラスタリングの両方を保持する優れた可視化を生成し、ベンチマーク論文ネットワークにおいて t-SNE や tsNET を上回る性能を発揮する。

ABSTRACT

We present GraphTSNE, a novel visualization technique for graph-structured data based on t-SNE. The growing interest in graph-structured data increases the importance of gaining human insight into such datasets by means of visualization. Among the most popular visualization techniques, classical t-SNE is not suitable on such datasets because it has no mechanism to make use of information from the graph structure. On the other hand, visualization techniques which operate on graphs, such as Laplacian Eigenmaps and tsNET, have no mechanism to make use of information from node features. Our proposed method GraphTSNE produces visualizations which account for both graph structure and node features. It is based on scalable and unsupervised training of a graph convolutional network on a modified t-SNE loss. By assembling a suite of evaluation metrics, we demonstrate that our method produces desirable visualizations on three benchmark datasets.

研究の動機と目的

• 既存の可視化手法がグラフ構造とノード特徴量を同時にモデル化できないという限界に対処すること。
• 高次元ノード特徴量を有するグラフ構造データに特化したスケーラブルで教師なしの可視化手法を開発すること。
• 最短経路距離によるグラフ接続性と、ユークリッド距離によるノード特徴量類似度を、統合された t-SNE ベースの最適化フレームワークに統合すること。
• 実世界のグラフデータセットを用いて、忠実度、可視化距離、1-NN 正答率という指標で手法の有効性を評価すること。
• 重み付き損失の組み合わせを通じて、グラフと特徴クラスタリングの最適なバランスを特定し、複数の指標の総合的パフォーマンスに基づいて α∗ を選択すること。

提案手法

• GraphTSNE は、高次元ノード特徴量 X とグラフ構造 G から低次元埋め込み Y を学習するために、2層の残差ゲート付き GCN を用いる。
• モデルは、2つの部分損失からなる修正された t-SNE 損失を用いて訓練される：最短経路距離 DG を用いたグラフクラスタリング損失 CG と、ユークリッド距離 DX を用いた特徴クラスタリング損失 CX。
• 総損失は、CT = αCG + (1−α)CX の重み付き組み合わせであり、α はグラフ構造の保存と特徴類似度の両立のトレードオフを制御する。
• 最適な α∗ は、検証戦略（ラベルなし）を用いて、組み合わせ距離指標（PG + PX）の最小化または 1-NN 一般化正答率の最大化により選択される。
• 計算コストを削減するため、トレーニング中に近隣サブサンプリング（NS）が適用され、1ノードあたり受容フィールドが 150 に制限されたミニバッチ確率的勾配降下法が可能になる。
• 本手法は帰納的（inductive）に設計されており、将来の研究で動的またはより大きなグラフへの応用が可能となる。

実験結果

リサーチクエスチョン

• RQ1 可視化手法は、低次元埋め込みにおいて、グラフ構造とノード特徴量の両方を効果的に保持できるか？
• RQ2 グラフクラスタリングと特徴クラスタリングのバランスが、可視化品質と下流タスクのパフォーマンスに与える影響は何か？
• RQ3 t-SNE フレームワーク内でグラフ理論的距離と特徴ベース距離を組み合わせることで、既存手法よりも優れたクラスタリングと構造保存が達成できるか？
• RQ4 複数の評価指標にわたる可視化忠実度を最大化する最適なトレードオフハイパーパrameter α は何か？
• RQ5 GraphTSNE は、高次元特徴量を有するグラフ構造データセットにおいて、t-SNE や tsNET を上回るパフォーマンスを達成できるか？

主な発見

• GraphTSNE は、CORA、Citeseer、Pubmed の論文ネットワークにおいて、グラフ構造とノード特徴量を同時にモデル化することで、優れた可視化品質を達成した。
• 最適な α∗ において、GraphTSNE は Citeseer で組み合わせ距離指標（PG + PX）1.421、Cora で 1.920、Pubmed で 0.902 を達成し、グラフおよび特徴関係の両方の保存が良好であることを示した。
• α∗ において、Pubmed で 0.750、Cora で 0.775 の 1-NN 一般化正答率を達成し、分類の分離性が向上したことを示した。
• α∗ における可視化は、純粋な t-SNE（α=0）や純粋なグラフクラスタリング（α=1）と比較して、質的評価により、より良いクラス分離と構造的忠実性を示した。
• 忠実度および可視化距離指標において、t-SNE や tsNET を上回り、局所的およびグローバルなデータ構造の両方を保存できる能力を確認した。
• 近隣サブサンプリングの使用により、O(N²) の計算複雑性で効率的なトレーニングが可能であり、今後の研究では木ベースの近似により O(N log N) への拡張を計画している。