[論文レビュー] On the Supermodularity of Active Graph-based Semi-supervised Learning with Stieltjes Matrix Regularization

Pin‐Yu Chen, Dennis Wei|arXiv (Cornell University)|Apr 9, 2018

Advanced Graph Neural Networks参考文献 14被引用数 3

ひとこと要約

本論文は、Stieltjes行列正則化の下で、アクティブグラフベース半教師付き学習（AG-SSL）の目的関数の超モodularityを証明し、理論的性能保証を伴うグリーディアルゴリズムの実現を可能にした。この手法は、実世界のネットワークにおいて僅か2つのラベル付きノードでのみ、完全なコミュニティ検出を達成し、限られたラベル付け予算下で最先端のグラフ信号サンプリング手法を上回った。

ABSTRACT

Active graph-based semi-supervised learning (AG-SSL) aims to select a small set of labeled examples and utilize their graph-based relation to other unlabeled examples to aid in machine learning tasks. It is also closely related to the sampling theory in graph signal processing. In this paper, we revisit the original formulation of graph-based SSL and prove the supermodularity of an AG-SSL objective function under a broad class of regularization functions parameterized by Stieltjes matrices. Under this setting, supermodularity yields a novel greedy label sampling algorithm with guaranteed performance relative to the optimal sampling set. Compared to three state-of-the-art graph signal sampling and recovery methods on two real-life community detection datasets, the proposed AG-SSL method attains superior classification accuracy given limited sample budgets.

研究の動機と目的

• 非負定値かつ非対角成分が非正であるようなStieltjes行列正則化子の広いクラス、特に非正規化および正規化されたグラフラプラシアンを含む、AG-SSL目的関数の超モodularityの確立。
• すべての可能な部分集合の全探索を避けることにより、最適セットに対する性能保証を伴うグリーディなラベルサンプリングアルゴリズムの開発。
• 特にコミュニティ検出タスクにおいて、最小限のラベル付け作業で分類精度を向上させること。
• 制限されたサンプル予算下で、既存のグラフ信号サンプリングおよび回復手法と比較して優れた性能を示すこと。

提案手法

• ラベルに多変量ガウス事前分布を適用し、Stieltjes行列から導出された精度行列を用いて、グラフベースのSSLを信号回復問題として定式化。
• 正定値かつ非対角成分が非正の正則化行列（例えばグラフラプラシアン）に対して、目的関数の超モodularityを証明。
• 期待予測誤差を最小化するようにノードを逐次選択するグリーディアルゴリズムを提案。超モodularityを活用することで、性能が定数倍の範囲内に保証される。
• グラフフーリエ変換とスペクトル特性を用いて信号モデルを定義し、バンド制限性を仮定しない。
• ラベル信号の事後分散の期待値に基づく損失関数を採用し、ノード選択により最適化。
• ノイズのあるラベル観測を用いて、Stieltjes行列正則化付きリッジ回帰に基づく予測子を実装。

実験結果

リサーチクエスチョン

• RQ1 Stieltjes行列正則化の下で、AG-SSL目的関数は超モodularityを示すか？
• RQ2 この超モodularityのもとで、グリーディアルゴリズムは最適サンプリングセットに対する定数倍近似を達成できるか？
• RQ3 制限されたラベル付け予算下で、本手法は最先端のグラフ信号サンプリング手法と比較して分類精度で優れているか？
• RQ4 正則化行列の選択（例：L と LN）が、サンプリング性能および精度に与える影響は何か？

主な発見

• 提案手法は、カラテおよびドルフィンネットワークの両方で、わずか2つのラベル付きノードでのみ、コミュニティ検出において100％の分類精度を達成した。
• 限られたサンプル予算下で、ランダムサンプリング、グラフスペクトルプロキシ（GSP）、グラフシフト作用素（GSO）、およびチャモン＝リベイロの手法（CRM）と比較して、損失および正確性の両面で本手法が優れた性能を示した。
• 非正規化ラプラシアン（L）から正規化ラプラシアン（LN）に切り替えることで、GSPおよびCRMの性能が向上した。これは、グラフフーリエ基底の選択がサンプリング品質に与える影響を示している。
• 本手法はGSPと顕著なノード選択の重複を示しており、スペクトルに基づくサンプリングヒューリスティクスと整合していることが示唆された。一方、GSOおよびCRMはより異なるサンプリングパターンを示した。
• 超モodularityから得られる理論的保証により、全探索がNP困難であるにもかかわらず、グリーディアルゴリズムの性能が最適サンプリングセットの定数倍の範囲内に保証された。