[論文レビュー] Semi-supervised Learning for Aggregated Multilayer Graphs Using Diffuse Interface Methods and Fast Matrix Vector Products

Kai Bergermann, Martin Stoll+1 more|arXiv (Cornell University)|Jul 10, 2020

Complex Network Analysis Techniques参考文献 62被引用数 12

ひとこと要約

本稿では、特徴量グループ化戦略を用いて高次元データを多層グラフとしてモデル化することで、スケーラブルな半教師付き学習フレームワークを提案する。NFFT（非等間隔高速フーリエ変換）と拡散界面法に基づく高速な行列-ベクトル積を用いた計算が可能となり、1000万ノード、104次元特徴量を有するハイパースペクトル画像セグメンテーションにおいて97%を超える分類精度を達成し、標準のラップトップでも効率的に実行可能である。

ABSTRACT

We generalize a graph-based multiclass semi-supervised classification technique based on diffuse interface methods to multilayer graphs. Besides the treatment of various applications with an inherent multilayer structure, we present a very flexible approach that interprets high-dimensional data in a low-dimensional multilayer graph representation. Highly efficient numerical methods involving the spectral decomposition of the corresponding differential graph operators as well as fast matrix-vector products based on the nonequispaced fast Fourier transform (NFFT) enable the rapid treatment of large and high-dimensional data sets. We perform various numerical tests putting a special focus on image segmentation. In particular, we test the performance of our method on data sets with up to 10 million nodes per layer as well as up to 104 dimensions resulting in graphs with up to 52 layers. While all presented numerical experiments can be run on an average laptop computer, the linear dependence per iteration step of the runtime on the network size in all stages of our algorithm makes it scalable to even larger and higher-dimensional problems.

研究の動機と目的

• 高次元データ向けに、拡散界面に基づく半教師付き学習を多層グラフに拡張すること。
• NFFTを活用した高速な行列-ベクトル積を用いることで、大規模かつ高次元のデータセットにおける計算を効率化すること。
• 高次元特徴空間を人工的な多層グラフに変換するための特徴量グループ化アプローチを開発し、スケーラブルなグラフラプラシアン演算を実現すること。
• 最大1000万ノードおよび104次元の特徴量を有する画像セグメンテーションタスクにおける本手法の有効性を実証すること。
• 最小限のラベルデータ（0.5–5%）と低コストな計算負荷で高い分類精度を達成すること。

提案手法

• 本手法は、複数のグラフ層を統合するためのパワー平均ラプラシアンを用い、各層間の構造的情報を保持する。
• 高次元特徴空間を低次元部分空間に分割する特徴量グループ化技術を導入し、それぞれの部分空間を別々のグラフ層として扱う。
• 各層のグラフラプラシアンは、グループ化された特徴量上でのガウスカーネルを用いて計算され、NFFTに基づく高速な行列-ベクトル積が可能になる。
• 拡散界面法は、統合されたラプラシアンの固有値分解を用いたグラフ・アレン＝コーエン方程式を介して適用され、ノードラベルがクラス境界へと進化する。
• アルゴリズムは、Lanczos法による高速固有ペア計算に依存しており、NFFTを用いた加速により、ノード数および特徴次元数の両方でO(n)の計算量が達成される。
• 本フレームワークは、合成データおよび実世界のデータ（ハイパースペクトル画像を含む）をサポートし、最小限の前処理と専用ハードウェアの必要なしに運用可能である。

実験結果

リサーチクエスチョン

• RQ1 拡散界面に基づく半教師付き学習は、高次元データ向けに多層グラフに効果的に拡張可能か？
• RQ2 特徴量を多層グラフにグループ化することで、大規模かつ高次元のデータセットにおけるスケーラビリティとパフォーマンスがどのように向上するか？
• RQ3 固有ペアの数とラベル付け率が、このフレームワークにおける分類精度に与える影響は何か？
• RQ4 最小限のラベルデータ（0.5–5%）と標準的なハードウェア上で、本手法は高い精度を達成できるか？
• RQ5 ハイパースペクトル画像セグメンテーションにおいて、既存の手法と比較して精度と計算効率の面で本手法はどのように差をつけるか？

主な発見

• Pavia Centerハイパースペクトルデータセットにおいて、5%のラベルデータと51層（1層あたり2バンド）を用い、120個の固有ベクトルを用いた場合、平均分類精度は0.975 ± 0.001を達成した。
• 同じデータセットにおいて、1層あたり3バンド、35層の設定でも、0.977 ± 0.001の精度を達成し、特徴量グループ化の選択に強く依存しない堅牢性を示した。
• 1クラスあたり0.5%のラベルデータでのみ学習した場合、2バンド/層の設定で0.972 ± 0.003の精度を達成し、低監視下でも優れた一般化性能を示した。
• 52層の固有ペア計算には約12,800秒（2バンド/層）および約26,900秒（3バンド/層）を要したが、アレン＝コーエンスキームの1回の実行は約71秒で完了した。
• 本手法の実行時間はネットワークサイズおよび特徴次元数に比例して線形にスケーリングされ、専用ハードウェアを必要とせず、標準ラップトップでも効率的な実行が可能である。
• 32コアシステムでの並列化により、固有ペア計算で約18.6倍のスルーブレイトが達成され、さらなる高速化の大きな可能性を示した。