[論文レビュー] Information Recovery from Pairwise Measurements

Yuxin Chen, Changho Suh+1 more|arXiv (Cornell University)|Apr 6, 2015

Machine Learning and Algorithms参考文献 12被引用数 5

ひとこと要約

本稿は、ノイズのある対比較測定から $ n $ 個のノード変数を回復するための統一的で情報理論的な枠組みを構築する。測定グラフ上でチャネル復号問題としてモデル化される。主な貢献は、最小チャネル発散とグラフの最小カットに基づく根本的な回復基準であり、同定されたサンプル複雑度のオーダー的にタイトな境界を確立する。非多項式的アルファベットサイズを持つ均一グラフでは、$ \asymp \frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} $ のスケーリングに従う。

ABSTRACT

This paper is concerned with jointly recovering $n$ node-variables $\left\{ x_{i} ight\}_{1\leq i\leq n}$ from a collection of pairwise difference measurements. Imagine we acquire a few observations taking the form of $x_{i}-x_{j}$; the observation pattern is represented by a measurement graph $\mathcal{G}$ with an edge set $\mathcal{E}$ such that $x_{i}-x_{j}$ is observed if and only if $(i,j)\in\mathcal{E}$. To account for noisy measurements in a general manner, we model the data acquisition process by a set of channels with given input/output transition measures. Employing information-theoretic tools applied to channel decoding problems, we develop a \emph{unified} framework to characterize the fundamental recovery criterion, which accommodates general graph structures, alphabet sizes, and channel transition measures. In particular, our results isolate a family of \emph{minimum} \emph{channel divergence measures} to characterize the degree of measurement corruption, which together with the size of the minimum cut of $\mathcal{G}$ dictates the feasibility of exact information recovery. For various homogeneous graphs, the recovery condition depends almost only on the edge sparsity of the measurement graph irrespective of other graphical metrics; alternatively, the minimum sample complexity required for these graphs scales like \[ ext{minimum sample complexity }\asymp\frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} \] for certain information metric $\mathsf{Hel}_{1/2}^{\min}$ defined in the main text, as long as the alphabet size is not super-polynomial in $n$. We apply our general theory to three concrete applications, including the stochastic block model, the outlier model, and the haplotype assembly problem. Our theory leads to order-wise tight recovery conditions for all these scenarios.

研究の動機と目的

• ノイズのある対比較差分 $ x_i - x_j $ から $ n $ 個のノード変数を再構築するための根本的回復基準を確立すること。
• 測定プロセスを、入力が $ x_i - x_j $、出力が $ y_{ij} $ であるチャネルとしてモデル化し、一般の遷移確率を用いてノイズを捉えること。
• チャネル発散とグラフ構造、特に測定グラフの最小カットを用いて、正確な回復の可能性を特徴づけること。
• さまざまなグラフタイプ、特に均一グラフに対して、一般のノイズモデル下でのタイトなサンプル複雑度境界を導出すること。
• コミュニティ検出、外れ値モデル、ハプロタイプアセンブリといった具体的な問題への応用を行い、オーダー的に最適な回復条件を達成すること。

提案手法

• 回復問題を、入力が対比較差分 $ x_i - x_j $、出力がノイズのある観測値 $ y_{ij} $ であるチャネル復号タスクとして定式化し、遷移確率 $ p(y_{ij} \mid x_i - x_j) $ を用いる。
• 測定の破損度を定量化する最小チャネル発散の族を定義し、回復可能性の可否を評価する主要な指標とする。
• 測定グラフ $ \mathcal{G} $ の最小カットを構造的制約として導入し、最小カットと最小チャネル発散の積が回復可能性を決定することを示す。
• 情報理論的道具を用い、$ f $-発散（KLとハリントン）を用いて、チャネル入力と出力分布間の発散をバインドする。
• カットセットサイズと最小カットに基づく、ノード集合の可能な分割の組み合わせ的境界を確立し、配置の可能な数に対する指数的上界を導出する。
• すべての可能な配置にわたる和集合バインドを用いてサンプル複雑度境界を導出し、均一グラフでは必要な測定回数が $ \asymp \frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} $ のスケーリングに従うことを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある差分から $ n $ 個のノード変数を正確に回復するための、測定回数の根本的限界は何か？
• RQ2 測定グラフの構造（例：最小カット）とノイズレベル（チャネル発散を介して）が、回復可能性にどのように寄与するか？
• RQ3 均一グラフにおける正確な回復の最小サンプル複雑度は何か？ また、$ n $ とノイズレベルに関してどのようにスケーリングされるか？
• RQ4 提案された枠組みは、コミュニティ検出やハプロタイプアセンブリといった実世界の応用において、オーダー的に最適な回復条件を達成できるか？
• RQ5 さまざまな $ f $-発散（例：KLとハリントン）は回復閾値をバインドする際にどのように関係し合い、一様に関連づけられるか？

主な発見

• 正確な回復は、最小チャネル発散が下限で抑えられ、測定グラフの最小カットが十分に大きい場合に限り可能であり、これらの二つの量の積が回復可能性を決定づける。
• 均一グラフでは、必要なサンプル複雑度が $ \asymp \frac{n\log n}{\mathsf{Hel}_{1/2}^{\min}} $ にスケーリングすることを示し、ここで $ \mathsf{Hel}_{1/2}^{\min} $ は正規化されたハリントン発散測度であり、他のグラフ指標とは独立する。
• 本理論は、ストークスティックブロックモデル、外れ値モデル、ハプロタイプアセンブリ問題の3つの具体的な応用において、オーダー的にタイトな回復条件を達成する。
• KL発散とハリントン発散の間の均一なバインドを確立し、密度比の対数的要因を除き、$ \mathsf{KL}(P\|Q) \asymp \mathsf{Hel}_{1/2}(P\|Q) $ が成り立つことを示した。
• 最小カットとカットセットサイズの制約を用いて、可能な分割の組み合わせ的境界を導出し、考慮すべき配置の数に対する指数的上界を導出した。
• 非多項式的アルファベットサイズの場合、回復閾値はほとんどエッジのスパarsityとチャネル発散に依存し、他のグラフ特性にはほとんど依存しないことが示された。