[論文レビュー] Random Spanning Trees and the Prediction of Weighted Graphs

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Dec 21, 2012

Complex Network Analysis Techniques参考文献 30被引用数 30

ひとこと要約

本稿では、重み付きグラフ上の二値ノードラベルを予測するための確率的オンライン学習アルゴリズムを提案する。ランダムなスパニングツリーを用いて予測ミスを最小化する。期待されるカットサイズが、対数要因を除いて最適なミスバウンドを特徴づけることを証明し、線形空間を用いながら予測1回あたり定数時間のアロケート時間を達成する。実世界のデータセットにおいて、グローバル法（例：ペルソン）やローカル法（例：ラベル伝搬）を凌ぎ、理論的最適性を維持する。

ABSTRACT

We investigate the problem of sequentially predicting the binary labels on the nodes of an arbitrary weighted graph. We show that, under a suitable parametrization of the problem, the optimal number of prediction mistakes can be characterized (up to logarithmic factors) by the cutsize of a random spanning tree of the graph. The cutsize is induced by the unknown adversarial labeling of the graph nodes. In deriving our characterization, we obtain a simple randomized algorithm achieving in expectation the optimal mistake bound on any polynomially connected weighted graph. Our algorithm draws a random spanning tree of the original graph and then predicts the nodes of this tree in constant expected amortized time and linear space. Experiments on real-world datasets show that our method compares well to both global (Perceptron) and local (label propagation) methods, while being generally faster in practice.

研究の動機と目的

• 重み付きグラフにおけるオンライン二値ラベリングの根本的な難易度を、グラフ理論的パラメータとして特徴づけること。
• 重み付きグラフ予測問題の理論的理解のギャップを埋めるために、下界と上界の両方を確立すること。
• 最適なミスバウンドを対数要因まで達成する計算的に効率的なアルゴリズムを設計すること。
• 実世界のデータセットにおいて、グローバル（例：ペルソン）およびローカル（例：ラベル伝搬）手法と比較して実用的優位性を示すこと。

提案手法

• 本手法は、エッジの確率が有効抵抗に関係するキルホフの行列-ツリー定理を用いて、元の重み付きグラフからランダムなスパニングツリーを構築する。
• スパニングツリーをパスに線形化し、線形化された構造上で近隣探索ルールを用いて効率的な予測を可能にする。
• 線形化されたツリー上で重み付き多数決（WTA または NWWTA）を用い、ノードのラベルを予測する。各ノードの予測に定数アロケート時間で処理が可能である。
• 予測ミスの期待値は、敵対的カットに属するエッジの有効抵抗の和として計算されるランダムスパニングツリーの期待カットサイズによって上限が与えられる。
• ノイズや不確実性のあるラベルを伴う実世界の応用において望ましい性質である、ラベルの摂動に対して耐性がある。
• すべてのスパニングツリーを一様にサンプリングできるように、デターミナントサンプリングを用いたランダムスパニングツリー生成の変種を用いて実装されている。

実験結果

リサーチクエスチョン

• RQ1 オンライン二値ラベリングにおける重み付きグラフの予測ミス数の根本的下界は何か？
• RQ2 ランダムスパニングツリーの期待カットサイズは、重み付きグラフ設定における最適なミスバウンドのタイトなパラメータ化として機能するか？
• RQ3 最適なミスバウンドを対数要因まで達成するが、計算コストが低い実用的なオンラインアルゴリズムは存在するか？
• RQ4 実世界のデータセットにおいて、提案手法の性能はグローバルおよびローカル学習ベースラインと比較して、正確性と効率性の面で優れているか？

主な発見

• ランダムスパニングツリーの期待カットサイズは、重み付きグラフにおけるオンライン二値ラベリングの最適ミスバウンドを、対数要因を除いてタイトにパラメータ化する。
• 提案されたアルゴリズムは、期待的に最適なミスバウンドを達成し、予測1回あたり定数アロケート時間、線形空間使用量を実現する。
• USPS-100データセットでは、50%のトレーニング/テスト分割において平均誤差率15.29%を達成し、ラベル伝搬（15.13%）およびグローバル手法を上回った。
• KROGANデータセットでは、17%のトレーニング分割において誤差率14.55%を達成し、ラベル伝搬（14.66%）およびグローバル手法を上回った。
• WEBSPAMデータセットでは、3*のサンプリングでテスト誤差率6.44%を達成し、ラベル伝搬（12.84%）およびグローバル手法を著しく上回った。
• 実験により、ラベルノイズのレベルが変化しても一貫した性能を示すなど、アルゴリズムはラベル摂動に対して頑健であることが示された。