[論文レビュー] Network Signatures from Image Representation of Adjacency Matrices: Deep/Transfer Learning for Subgraph Classification

Kshiteesh Hegde, Malik Magdon‐Ismail+2 more|arXiv (Cornell University)|Apr 17, 2018

Complex Network Analysis Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、深層学習およびトランスファーラーニングを用いた高精度な部分グラフ分類を可能にする、グラフ隣接行列の新しい画像ベースの表現を提案する。置換不変な隣接行列を構造的な2次元画像に変換することで、最小限の学習データでも、小さな部分グラフから親ネットワークを識別する際、90%を超える精度を達成し、事前学習済み画像モデルの知識をグラフドメインに効果的に転送する。データ不足の状況でも強く頑健である。

ABSTRACT

We propose a novel subgraph image representation for classification of network fragments with the targets being their parent networks. The graph image representation is based on 2D image embeddings of adjacency matrices. We use this image representation in two modes. First, as the input to a machine learning algorithm. Second, as the input to a pure transfer learner. Our conclusions from several datasets are that (a) deep learning using our structured image features performs the best compared to benchmark graph kernel and classical features based methods; and, (b) pure transfer learning works effectively with minimum interference from the user and is robust against small data.

研究の動機と目的

• 訓練データが限られる状況でも、部分グラフの親ネットワークを特定するという課題に取り組む。
• グラフ分類を、隣接行列の構造的画像埋め込みを用いて画像分類に再定式化できるかを検討する。
• 完全に異なるドメインにおけるグラフ分類の文脈で、事前学習済み画像モデル（例：ImageNetで学習されたCaffe）からのトランスファーラーニングの有効性を評価する。
• 現実のネットワーク（テロリストネットワークや引用ネットワークなど）で一般的に見られる低データレジームにおいて、本手法の頑健性を評価する。
• 従来のグラフカーネルおよび特徴ベース手法と比較して、画像ベースのアプローチの性能を評価する。

提案手法

• Wuら（2016）の手法を用いて、ノードの再順序付けに対しても構造的に一貫性を保つ置換不変な隣接行列を構築する。
• 隣接行列を2次元画像表現に変換し、各ピクセルがエッジ（1）または非エッジ（0）に対応するようにし、損失のない画像埋め込みを形成する。
• 構造的な画像埋め込みを直接深層ニューラルネットワークに適用し、エンドツーエンドの部分グラフ分類を実行する。
• ImageNetで学習済みのCaffeモデル（事前学習済み）をブラックボックスのトランスファーラーナーとして使用し、画像埋め込みを通過させて分類確率ベクトルを取得する。
• 距離に基づくヒューリスティック（例：ジャコビ距離）とK近傍法を用いて、Caffeの出力ベクトルを元のネットワークドメインにマッピングし、分類を行う。
• ラベルベクトル空間におけるK近傍法の多数決ルールを用いて、各部分グラフに最終的なネットワークラベルを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 構造的な画像埋め込みを用いた隣接行列の画像表現は、従来のグラフカーネルおよび特徴ベース手法を上回る性能を示せるか？
• RQ2 ImageNetで事前学習された画像分類器（例：ImageNetで学習されたCaffe）からのトランスファーラーニングは、全く異なるドメインにおけるネットワーク部分グラフ分類にどの程度有効に機能するか？
• RQ3 本手法は、特にテロリストネットワークや引用ネットワークなどで一般的な低データレジームにおいて、どの程度頑健か？
• RQ4 非常に小さな部分グラフ（例：8〜16ノード）では、手法の性能が著しく低下するか？
• RQ5 K近傍法におけるKの選択が、トランスファーラーニング設定における分類精度にどのように影響するか？

主な発見

• 提案された画像ベースの表現は、親ネットワークが最大100万ノードを含む64ノードの部分グラフからも、90%を超える精度で親ネットワークを識別した。
• 同様のトピックを持つネットワーク同士（例：Wikipedia対Web）の対比較では94.57%の精度を達成し、他のペアでは80〜90%の精度を示した。
• マルチクラス分類において、トランスファーラーニングを用いた結果、61%の精度を達成し、複数クラスの複雑さを考慮しても本手法の有効性が示された。
• 訓練データの10%のみでさえも、トランスファーラーニングアプローチが強い耐性を示し、データ不足の状況に強く頑健であった。
• K近傍法のステップにおいてK > 15の範囲で性能が安定しており、しきい値を超えて近傍サイズに敏感でないことが示された。
• ベンチマークのグラフカーネルおよび古典的な特徴ベース手法と比較して、本手法は優れた性能を示し、画像表現がグラフ分類の入力として優位であることを確立した。