[論文レビュー] The Total Variation on Hypergraphs - Learning on Hypergraphs Revisited

Matthias Hein, Simon Setzer+2 more|arXiv (Cornell University)|Dec 18, 2013

Advanced Graph Neural Networks参考文献 28被引用数 73

ひとこと要約

本稿では、クリークやスターレイアウトへの近似による歪みを回避するため、ハイパーグラフ構造を直接利用する総変動に基づく関数形に依存する、ハイパーグラフ上での学習のための新規正則化フレームワークを提案する。この手法は、スケーラブルな近接アルゴリズムを用いた凸最適化問題を解くことで、ベンチマークデータセット上での半教師付き学習およびクラスタリングにおいて、グラフ近似法やテンソル法を上回る最先端の性能を達成する。

ABSTRACT

Hypergraphs allow one to encode higher-order relationships in data and are thus a very flexible modeling tool. Current learning methods are either based on approximations of the hypergraphs via graphs or on tensor methods which are only applicable under special conditions. In this paper, we present a new learning framework on hypergraphs which fully uses the hypergraph structure. The key element is a family of regularization functionals based on the total variation on hypergraphs.

研究の動機と目的

• クリークやスターレイアウトへの近似に依存する既存のハイパーグラフ学習手法の制限を克服すること。
• ハイパーグラフカットのラヴェシュ拡張として定義される総変動を用いて、ハイパーグラフ構造を完全に活用する正則化フレームワークを構築すること。
• 提案された正則化関数形に対する近接アルゴリズムを導出することにより、半教師付き学習およびクラスタリングのためのスケーラブルな最適化を可能にすること。
• 直接的なハイパーグラフベースの学習が、グラフベースの近似法や標準的な類似度に基づくグラフ構築法と比較して優れた性能を示すことを実証すること。

提案手法

• ハイパーグラフカット関数形のラヴェシュ拡張として、ハイパーグラフ上の総変動を導入し、ハイパーグラフ分割の凸緩和を可能にする。
• スパarsityとスムーズネスのバランスを取るための、総変動とラプラシアン型正則化の間を補間する正則化関数形の族を提案する。
• 正規化ハイパーグラフカットのタイトな凸緩和を導出し、クラスタリングのための効率的最適化を可能にする。
• 得られた凸最適化問題を解くための新規近接アルゴリズムを構築し、形式的な計算複雑性解析を実施する。
• ラベル制約を満たすように、提案された正則化を最小化する凸最適化問題として、半教師付き学習およびクラスタリングを定式化する。
• スケーラブルなソルバーとして近接写像に基づく手法を用い、大規模ハイパーグラフの効率的処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 グラフに近似することなく、ハイパーグラフ構造を直接使用する正則化フレームワークを設計できるか？
• RQ2 ハイパーグラフ上の総変動は、グラフベースの総変動と比較して、高次元関係をどれほど良好に保持できるか？
• RQ3 正規化ハイパーグラフカットのタイトな凸緩和を導出し、クラスタリングに有効に利用できるか？
• RQ4 半教師付き学習において、直接的なハイパーグラフ学習がグラフ近似法と比較してどれほど性能向上を達成できるか？
• RQ5 提案された最適化フレームワークは、大規模ハイパーグラフに対してどれほどスケーラブルか？

主な発見

• 提案手法は、Mushroomsデータセット（10.98% vs. 32.25%）および20-newsgroup（47.77% vs. 33.20%）において、クリーク拡張に基づくスペクトルクラスタリングより顕著に低いクラスタリング誤差を達成し、優れた性能を示している。
• 直接この目的を最適化していないにもかかわらず、提案手法はクリーク拡張法よりも小さい正規化ハイパーグラフカット（例：Mushroomsで0.0011 vs. 0.0013）を達成している。
• covertype (4,5) データセットでは、ベースラインと同等のクラスタリング誤差（22.44%）を達成したが、ハイパーグラフの正規化カットは著しく小さく（0.0018 vs. 0.0022）なっており、構造の保存性が優れていることが示された。
• 20-newsgroup データセットでは、200ラベル付き点を用いたテスト誤差が25.0±1.3%を達成し、Zhouら（25.0±1.3% vs. 25.0±1.3%）を同等または上回ったが、ハイパーグラフカット値のトレードオフがより有利であった。
• 標準的なk-NNグラフベースのスペクトルクラスタリング（例：20-newsgroupで34.7±3.6% vs. 66.38%）を上回ったことから、カテゴリカルデータに対してハイパーグラフモデリングが類似度に基づくグラフ構築法よりも効果的であることが示された。
• 提案された近接アルゴリズムにより、スケーラブルな最適化が可能となり、最大200ラベル付き点を含むデータセットを用いた実験で、大規模ハイパーグラフへの適用可能性が実証された。