[論文レビュー] How to learn a graph from smooth signals

Vassilis Kalofolias|arXiv (Cornell University)|Jan 11, 2016

Sparse and Compressive Sensing Techniques参考文献 20被引用数 38

ひとこと要約

本稿では、グラフ上の信号の滑らかさを活用して、重み付き ℓ¹ 正則化最適化問題として定式化することで、滑らかな信号からグラフ構造を学習する新しいフレームワークを提案する。主双対アルゴリズムを用いることで、自然にスパースで連結されたグラフが得られ、特にスパースなグラフ制約下において、最新のモデルに比して接続性とロバスト性に優れる。

ABSTRACT

We propose a framework that learns the graph structure underlying a set of smooth signals. Given $X\in\mathbb{R}^{m imes n}$ whose rows reside on the vertices of an unknown graph, we learn the edge weights $w\in\mathbb{R}_+^{m(m-1)/2}$ under the smoothness assumption that $ ext{tr}{X^ op LX}$ is small. We show that the problem is a weighted $\ell$-1 minimization that leads to naturally sparse solutions. We point out how known graph learning or construction techniques fall within our framework and propose a new model that performs better than the state of the art in many settings. We present efficient, scalable primal-dual based algorithms for both our model and the previous state of the art, and evaluate their performance on artificial and real data.

研究の動機と目的

• 事前にグラフが存在しない、または初期グラフにノイズが含まれる状況において、滑らかな信号からグラフ構造を学習する課題に対処すること。
• スムーズネスに基づくフレームワークにより、スパース性と連結性を促進する既存のグラフ学習手法を統一すること。
• 提案されたグラフ学習モデルおよび先行の最先端モデルを解くためのスケーラブルで収束保証のある主双対アルゴリズムを開発すること。
• 人工的および実世界のデータ上で、k-NNおよび既存モデルと比較して、特にスパースなグラフ設定下での性能を評価すること。
• 提案モデルが、特に低密度領域において、グラフ密度選択における接続性とロバスト性を向上させることを示すこと。

提案手法

• 本手法は、グラフラプラシアンの滑らかさ項 tr(XᵀLX) を最小化することでグラフ学習を定式化し、これを隣接行列の重み付き ℓ¹ 範囲に再表現することでスパース性を促進する。
• このフレームワークは、ガウスカーネル重み付けなどの標準的手法を一般化し、[10]のモデルを特別な場合として含む。
• スパース性を1つのパラメータで制御する新しいモデルを提案し、スパース性と連結性のバランスを保証する。
• 提案モデルおよび先行の最先端モデルを解くための高速でスケーラブルかつ収束保証のある主双対アルゴリズムを開発し、大規模応用を可能にする。
• アルゴリズムはオープンソースのツールボックス（GSPBox, UNLocBoX）に実装され、実データセットにおけるスペクトルクラスタリングおよびラベル伝搬を用いて評価された。
• 合成データおよび実データセット（USPS, MNIST）を用いて検証され、クラスタリング精度、分類誤差、グラフ連結性を指標として性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 グラフ上での信号の滑らかさを、原理的かつスパースで良好に接続されたグラフ構造を学習するために活用できるか？
• RQ2 提案された重み付き ℓ¹ 定式化は、スパース性、連結性、スケーラビリティの観点で、既存モデルと比較してどのように異なるか？
• RQ3 1つのパラメータで、実世界のデータにおけるスパース性とグラフ連結性のトレードオフを効果的に制御できるか？
• RQ4 提案された主双対アルゴリズムは、大規模なグラフ学習タスクにおいて、既存のソルバーよりも収束速度とスケーラビリティに優れているか？
• RQ5 不均衡なデータ（例：MNISTの1対2）の設定下で、スパースなグラフ仮定のもとでも、分類性能が劣化しないか？

主な発見

• 提案モデルは、最先端モデル（0.24 ARI）に対して優れたクラスタリング性能（0.25 ARI）を達成し、さまざまなグラフ密度においてより高いロバスト性を示した。
• ノードあたり6本のエッジを持つグラフにおいて、提案モデルはたった3つの連結成分と孤立ノードなしを生成したが、[9]のモデルは35の成分（うち22個が孤立ノード）を生成した。
• MNIST 1 対 2 の分類タスクにおいて、提案モデルは低密度領域でも誤分類率が低く保たれたのに対し、[9]のモデルはグラフが密でない限り、離れた「2」の数字を接続できなかった。
• 1001枚のUSPS画像に対してノードあたり10本のエッジを持つグラフを5秒（218イテレーション）で学習可能であり、標準的なハードウェア上でも高いスケーラビリティを示した。
• 提案フレームワークはガウスカーネル重み付けと[10]のモデルを統一し、より明確な理論的基盤を提供するとともに、かつて存在しなかったスケーラブルなアルゴリズムを可能にした。
• ラベル伝搬の結果、提案モデルは特にマイノリティクラスが接続性に劣るスパースなグラフ領域でも、高い分類精度を維持した。