[論文レビュー] The Projected Power Method: An Efficient Algorithm for Joint Alignment from Pairwise Differences

Yuxin Chen, Emmanuel J. Candès|arXiv (Cornell University)|Sep 19, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 19

ひとこと要約

本稿では、離散変数を連続空間に埋め込み、超立方体上での射影べき乗反復を用いて最適化することで、ノイズのある対比較差分からの連合アラインメントのための効率的なアルゴリズム、Projected Power Methodを提案する。広範な統計モデルのもとで十分な標本複雑性が満たされれば、高確率で正確な回復（最尤推定）を達成することが証明される。

ABSTRACT

Various applications involve assigning discrete label values to a collection of objects based on some pairwise noisy data. Due to the discrete---and hence nonconvex---structure of the problem, computing the optimal assignment (e.g.~maximum likelihood assignment) becomes intractable at first sight. This paper makes progress towards efficient computation by focusing on a concrete joint alignment problem---that is, the problem of recovering $n$ discrete variables $x_i \in \{1,\cdots, m\}$, $1\leq i\leq n$ given noisy observations of their modulo differences $\{x_i - x_j~\mathsf{mod}~m\}$. We propose a low-complexity and model-free procedure, which operates in a lifted space by representing distinct label values in orthogonal directions, and which attempts to optimize quadratic functions over hypercubes. Starting with a first guess computed via a spectral method, the algorithm successively refines the iterates via projected power iterations. We prove that for a broad class of statistical models, the proposed projected power method makes no error---and hence converges to the maximum likelihood estimate---in a suitable regime. Numerical experiments have been carried out on both synthetic and real data to demonstrate the practicality of our algorithm. We expect this algorithmic framework to be effective for a broad range of discrete assignment problems.

研究の動機と目的

• 非凸的かつ組合せ的な構造を有する離散割り当て問題の計算困難性に対処すること。
• ノイズのあるモジュロ差分から離散ラベルを回復するための低複雑性でモデルフリーなアルゴリズムの開発。
• 提案手法が広範な統計モデルのもとで最尤推定に収束することの証明。
• 最小限の標本複雑性のもとで高確率的状態での正確な回復に対する理論的保証の確立。

提案手法

• 異なる値を直交方向に表現することで、離散ラベル変数を連続空間に埋め込む。
• 連合アラインメント問題を、埋め込み空間における超立方体上の二次計画問題として表現する。
• 初期化にスペクトル法を用い、グローバル最適解の吸引域内に初期推定値を得る。
• 反復的に更新する際に、反復列が実行可能領域（超立方体）内に留まるように、射影べき乗反復を適用する。
• 2段階の枠組みを採用：スペクトル初期化の後に、射影べき乗ステップによる反復的改善。
• 良性な幾何的構造と中程度の偏差原理を活用することで、最尤推定への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 ラベル空間が離散的かつ非凸的である場合に、ノイズのある対比較差分からの連合アラインメントのための効率的アルゴリズムを設計できるか？
• RQ2 スペクトル初期化を伴う射影べき乗法は、最小限の標本複雑性のもとで高確率で正確な回復を達成できるか？
• RQ3 アルゴリズムが真の離散ラベルを回復するのに必要な最小限の標本複雑性は何か？
• RQ4 アルゴリズムの性能は、対比較差分のノイズの統計的モデルにどのように依存するか？
• RQ5 離散割り当て問題の非凸性にもかかわらず、アルゴリズムが最尤推定に収束することを証明できるか？

主な発見

• Projected Power Method は、広範な統計モデルのもとで、高確率で正確な回復（すなわち最尤推定に収束）を達成する。
• 観測された対比較差分の数が $ p_{\text{obs}} \gtrsim \frac{\log^5(mn)}{n} $ を満たす場合、正確な回復が保証される。ここで $ m $ はラベル値の数、$ n $ は変数の数である。
• 真の差分と整合する測定値が50％程度の状況でも、アルゴリズムは成功する。
• 理論的分析により、グローバル最適解の周囲に大きな吸引域があることが示され、スペクトル初期化後に幾何的収束が高速に達成される。
• この手法はモデルフリーであり、ノイズ分布に対して強いパrametric仮定を必要とせず、モーメント条件のみを仮定する。
• 中程度の偏差原理およびKLダイバージェンスと分散のバウンドを用いて理論的保証を確立し、ノイズに対して強いロバストネスを示している。