[論文レビュー] Generalized Matrix Means for Semi-Supervised Learning with Multilayer Graphs

Pedro Mercado, Francesco Tudisco+1 more|arXiv (Cornell University)|Oct 30, 2019

Remote-Sensing Image Classification被引用数 8

ひとこと要約

本稿では、算術平均、幾何平均、調和平均を一般化する1パラメータ族であるべき平均ラプラシアン正則化子を用いた、マルチレイヤー・グラフにおける新しい半教師付き学習フレームワークを提案する。合成および実世界のデータセットにおいて、最先端の手法よりも優れた分類精度を示し、ノイズに対して理論的なロバスト性を示す。大規模な展開を可能にするスケーラブルな行列フリーの数値スキームを採用している。

ABSTRACT

We study the task of semi-supervised learning on multilayer graphs by taking into account both labeled and unlabeled observations together with the information encoded by each individual graph layer. We propose a regularizer based on the generalized matrix mean, which is a one-parameter family of matrix means that includes the arithmetic, geometric and harmonic means as particular cases. We analyze it in expectation under a Multilayer Stochastic Block Model and verify numerically that it outperforms state of the art methods. Moreover, we introduce a matrix-free numerical scheme based on contour integral quadratures and Krylov subspace solvers that scales to large sparse multilayer graphs.

研究の動機と目的

• 複雑な情報やノイズを含む複数のグラフレイヤーが存在するマルチレイヤー・グラフにおける半教師付き学習の課題に対処すること。
• 凸結合（算術平均）によるグラフレイヤーの統合には限界があり、特定の生成モデル下で失敗する問題を克服すること。
• 既存の手法が失敗する状況、特に一部のレイヤーがノイズを含む場合に、分類性能を理論的に向上させる正則化子を開発すること。
• 行列フリーの数値的手法を用いて、大規模なスパースなマルチレイヤー・グラフ上でのべき平均ラプラシアンの計算をスケーラブルに可能にすること。

提案手法

• べき平均ラプラシアン $ L_p = \left( \frac{1}{T} \sum_{i=1}^T (L^{(i)}_{\mathrm{sym}})^p \right)^{1/p} $ を提案。これは算術平均、幾何平均、調和平均を一般化する1パラメータ族の行列平均である。
• 正則化された最適化問題 $ f^{(r)} = \arg\min_f \|f - Y^{(r)}\|^2 + \lambda f^T L_p f $ を用いる。ここで $ Y^{(r)} $ はクラス所属ベクトルである。
• 行列を明示的に構築せずに $ L_p $ を計算できるように、コーシー積分則に基づく数値積分とクリロフ部分空間ソルバーを用いた行列フリーの数値スキームを適用し、スケーラビリティを実現。
• 正定値性と数値的安定性を保証するため、$ p \leq 0 $ の場合に $ \varepsilon = \log_{10}(1+|p|) + 10^{-6} $ の対角シフトを導入。
• マルチレイヤー確率的ブロックモデル下で理論的保証を導出し、最先端の手法が失敗する状況でも、未ラベルノードの正しく分類できることを示した。
• 得られた解 $ f $ を用いて $ y_i = \arg\max_r f^{(r)}_i $ によりクラスラベルを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 凸結合と比較して、ラプラシアン行列の一般化された行列平均がマルチレイヤー・グラフにおける半教師付き学習性能を向上させられるか。
• RQ2 べき平均ラプラシアン正則化子が、確率的ブロックモデル設定下でノイズを含むグラフレイヤーに対して理論的にロバスト性を示せるか。
• RQ3 明示的な行列逆行列計算を伴わず、大規模なスパースなマルチレイヤー・グラフ上でもべき平均ラプラシアンを効率的に計算できるか。
• RQ4 べきパラメータ $ p $ の選択が、さまざまなノイズおよびクラスタリングの設定下で分類性能にどのように影響するか。

主な発見

• マルチレイヤー確率的ブロックモデル下で、本手法は、最先端の手法が失敗する状況でも、未ラベルノードを理論的に正しく分類できることを示した。特に、1つのレイヤーしか情報を持たない場合に顕著である。
• インターレイヤーのノイズとクラスタリングの難易度が増す合成グラフにおいて、最先端のアプローチよりも顕著に低い分類誤差を達成した。
• $ p = -1 $ の場合、本手法は算術平均（すなわち $ L_1 $）と同程度の性能を示すが、$ p < -1 $、例えば $ p = -5 $ や $ p = -10 $ の場合、特にノイズが多い状況で性能がさらに向上する。
• 行列フリーの数値スキームにより、大規模なスパースなグラフ上でも正則化システムの解が効率的に得られ、計算コストが行列サイズに依存しない。
• 実世界のデータセット（例：Cora, Citeseer, BBC）において、最適な $ \lambda \in \{10, 10^2, 10^3\} $ を用いて競争力のある性能を達成した。さらに、ラベル付きデータが増加するに従い、テスト誤差は低下した。
• 正則化パララメータ $ \lambda $ は $ \lambda \leq 10^{-1} $ の範囲ではほとんど影響を及ぼさないが、$ \lambda \geq 10 $ の範囲では性能が顕著に向上し、実データでは $ \lambda = 10 $ が平均テスト誤差を最小化する最良の選択であった。