[論文レビュー] Rigorous Dynamics and Consistent Estimation in Arbitrarily Conditioned Linear Systems

Alyson K. Fletcher, Mojtaba Sahraee-Ardakan+2 more|arXiv (Cornell University)|Jun 19, 2017

Blind Source Separation Techniques被引用数 8

ひとこと要約

本稿では、任意に悪条件な測定行列を伴う高次元線形逆問題において、一貫的かつ証明可能に最適な推定を実現するための、自己調整機能を備えたアダプティブ・ベクトル近似メッセージパッシング（Adaptive VAMP）を提案する。一般に右回転不変な行列を想定した下で、厳密な状態遷移と漸近的整合性を確立し、パラメータが真の値に収束する場合にはベイズ最適性能を達成する。

ABSTRACT

The problem of estimating a random vector x from noisy linear measurements y = A x + w with unknown parameters on the distributions of x and w, which must also be learned, arises in a wide range of statistical learning and linear inverse problems. We show that a computationally simple iterative message-passing algorithm can provably obtain asymptotically consistent estimates in a certain high-dimensional large-system limit (LSL) under very general parameterizations. Previous message passing techniques have required i.i.d. sub-Gaussian A matrices and often fail when the matrix is ill-conditioned. The proposed algorithm, called adaptive vector approximate message passing (Adaptive VAMP) with auto-tuning, applies to all right-rotationally random A. Importantly, this class includes matrices with arbitrarily poor conditioning. We show that the parameter estimates and mean squared error (MSE) of x in each iteration converge to deterministic limits that can be precisely predicted by a simple set of state evolution (SE) equations. In addition, a simple testable condition is provided in which the MSE matches the Bayes-optimal value predicted by the replica method. The paper thus provides a computationally simple method with provable guarantees of optimality and consistency over a large class of linear inverse problems.

研究の動機と目的

• 標準的なAMPが失敗する、悪条件な線形系におけるメッセージパッシングアルゴリズムの理論的保証の欠如に対処する。
• VAMPに基づく推論の適用範囲を、任意に高い条件数を有する任意の右回転不変行列にまで拡張する。
• 未知パラメータをEM法で学習する高次元大システム極限（LSL）において、パラメータ推定の収束性と整合性を証明する。
• 漸近的平均二乗誤差（MSE）とパラメータ推定値を高精度に予測できる状態遷移フレームワークを確立する。
• 簡単な検証可能な条件下で、Adaptive VAMPのMSEがレプリカ法によって予測されるベイズ最適値と一致することを示す。

提案手法

• 信号と未知パラメータの同時推定を可能にする、ベクトル近似メッセージパッシング（VAMP）と期待値最大化（EM）を組み合わせたメッセージパッシングアルゴリズム、Adaptive VAMPを提案する。
• アルゴリズムの更新則を現在の状態に応じて適応的に調整する自己調整手順を導入し、一貫したパラメータ推定を保証する。
• 大システム極限における推定値とMSEの漸近的挙動を追跡する拡張された状態遷移（SE）方程式のセットを導出する。
• i.i.d. なサブガウス型行列や任意の条件数を有する行列を含む、右回転不変行列モデルを用いる。
• レプリカ法を用いてベイズ最適MSEを予測し、SEによって予測されたMSEと比較することで最適性を評価する。
• スパース信号復元および画像復元問題におけるシミュレーションを通じて、条件数が大きい行列を用いた理論的結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 任意に悪条件な測定行列を伴う高次元線形系において、メッセージパッシングアルゴリズムが、証明可能な一貫性を有するパラメータ推定を達成できるか？
• RQ2 Adaptive VAMPの状態遷移は、大システム極限において、決定的かつ予測可能な極限に収束するか？
• RQ3 Adaptive VAMPの平均二乗誤差（MSE）が、レプリカ法によって予測されるベイズ最適値と一致するのはどのような条件下か？
• RQ4 真のパラメータが未知である場合、Adaptive VAMPにおける自己調整メカニズムは、収束性と整合性をどのように保証するか？
• RQ5 提案手法は、事前分布モデルが誤っている場合でも、有限サイズの実世界データ（例：画像）を用いた実用的状況において、安定性と最適性を維持できるか？

主な発見

• 識別可能性条件と提案された自己調整手順の下で、Adaptive VAMPは大システム極限において漸近的整合性を達成する。
• Adaptive VAMPの状態遷移方程式は、MSEとパラメータ推定値の決定的かつ解析的に取り扱いやすい予測を提供する。
• 条件数κ=100のスパース信号復元において、自己調整付きAdaptive VAMPはVAMPオラクル（パラメータが既知）に近いNMSE性能を達成し、EM-BG-AMP や SPGL1 より顕著に優れている。
• κ=100のスパース画像復元において、自己調整付きEM-VAMPはオラクルと同等の中央値NMSEを達成し、EM-BG-AMP や SPGL1 より約10倍高速である。
• パラメータ推定値が真の値に収束する場合、Adaptive VAMPのMSEはレプリカ法によって予測されたベイズ最適値と一致する。
• 標準的なAMP手法が通常発散するような極端に大きな条件数を有する行列に対しても、アルゴリズムは安定で効果的である。