[論文レビュー] Inference in Sparse Graphs with Pairwise Measurements and Side Information

Dylan J. Foster, Daniel Reichman+1 more|arXiv (Cornell University)|Mar 8, 2017

Topological and Geometric Data Analysis被引用数 3

ひとこと要約

本稿では、ノイズのあるペアワイズエッジ測定と破損した頂点ラベルからのサイド情報を利用した、スパースグラフにおけるバイナリ頂点ラベルの復元のための新規アルゴリズムを提示する。木分解と統計的学習理論を活用することで、最小限のサンプル複雑度で最適なハミング誤りバウンドを達成し、グリッド、ハイパーグリッド、スモールワールドネットワークなどのグラフにおいて、先行研究を著しく上回る性能を発揮する。

ABSTRACT

We consider the statistical problem of recovering a hidden "ground truth" binary labeling for the vertices of a graph up to low Hamming error from noisy edge and vertex measurements. We present new algorithms and a sharp finite-sample analysis for this problem on trees and sparse graphs with poor expansion properties such as hypergrids and ring lattices. Our method generalizes and improves over that of Globerson et al. (2015), who introduced the problem for two-dimensional grid lattices. For trees we provide a simple, efficient, algorithm that infers the ground truth with optimal Hamming error has optimal sample complexity and implies recovery results for all connected graphs. Here, the presence of side information is critical to obtain a non-trivial recovery rate. We then show how to adapt this algorithm to tree decompositions of edge-subgraphs of certain graph families such as lattices, resulting in optimal recovery error rates that can be obtained efficiently The thrust of our analysis is to 1) use the tree decomposition along with edge measurements to produce a small class of viable vertex labelings and 2) apply an analysis influenced by statistical learning theory to show that we can infer the ground truth from this class using vertex measurements. We show the power of our method in several examples including hypergrids, ring lattices, and the Newman-Watts model for small world graphs. For two-dimensional grids, our results improve over Globerson et al. (2015) by obtaining optimal recovery in the constant-height regime.

研究の動機と目的

• ノイズのあるエッジ測定と頂点測定を用いたスパースグラフにおける真のバイナリ頂点ラベルの復元という課題に取り組む。
• グリッド、ハイパーグリッド、リングラティスなどの拡散性が低い一般スパースグラフに、Globersonら（2015）のフレームワークを拡張することで、先行研究を改善する。
• エッジ測定のみでは失敗するスパースグラフの状況において、サイド情報が非自明な復元に不可欠であることを示す。
• 木構造やスモールワールドネットワークを含む多様なグラフ族において、最適なサンプル複雑度とハミング誤り率を達成する。
• 現実的なノイズモデル下で、有限サンプル解析を用いて鋭い復元バウンドを確立する。

提案手法

• 複雑なグラフを管理可能な部分木に分解するための木分解を用い、エッジ部分グラフ上の効率的推論を可能にする。
• 各部分木内で最適ラベリングを計算するための動的計画法を適用し、違反するエッジ制約の数を最小化する。
• 統計的学習フレームワークを介して頂点測定（サイド情報）を活用し、ラベル推定を精緻化し、ハミング誤りを低減する。
• 次数が高い場合に、エッジ測定と頂点測定をメジャリティ投票推定器で統合し、誤り率を低く保つ。
• 制約予算下での最適ラベリングを計算する再帰的動的計画法を、木構造グラフに導入する。
• 最小次数条件を活用し、集中不等式を適用して誤りバウンドを得ることで、一般グラフに対してもアルゴリズムを適応化する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズエッジ測定とサイド情報のみを用いて、拡散性が低いスパースグラフで最適なハミング誤り復元が可能か？
• RQ2 ハイパーグリッドやリングラティスのようなグラフにおいて、サイド情報の導入がサンプル複雑度と復元誤りに与える影響は何か？
• RQ3 正確な復元が不可能なほどスパースなグラフにおいて、部分的復元の理論的限界は何か？
• RQ4 木分解技術を非木構造グラフに一般化することで、最適な復元レートを達成できるか？
• RQ5 異なるグラフ族において、エッジ測定と頂点測定のノイズレベルが誤り率にどのように影響するか？

主な発見

• 提案アルゴリズムは、パスグラフにおいて任意の $ p $ に対して最適なハミング誤り $ O(pn) $ を達成し、エッジのみの手法が $ \tilde{O}(n) $ の誤りを示すのと比べて著しく改善される。
• 2次元グリッドでは、定数高さの状況において最適な復元が達成され、Globersonら（2015）の結果を上回る。
• 最小次数が $ \theta(\log n) $ のグラフでは、期待ハミング誤りが $ \exp(-C \cdot \text{deg}(v) \epsilon^2 (1-2p)^2) $ のように指数的に減少し、$ n \to \infty $ のとき近似的にゼロ誤りが達成可能となる。
• 木グラフ上では $ O(nK_n^2) $ 時間で実行可能であり、パスグラフには線形時間版が存在し、効率性とスケーラビリティが示された。
• サイド情報は不可欠である：パスのようなスパースグラフでは、サイド情報がなければエッジのみの手法では非自明な復元は不可能である。
• 本手法はスモールワールドネットワーク（例：Newman-Wattsモデル）にも一般化可能であり、木分解と動的計画法を用いて最適誤り率を達成する。