[論文レビュー] Statistical Physics and Information Theory Perspectives on Linear Inverse Problems

Junan Zhu|arXiv (Cornell University)|May 15, 2017

Sparse and Compressive Sensing Techniques参考文献 113被引用数 4

ひとこと要約

本学位論文は、統計物理学および情報理論を用いて大規模な線形逆問題を進展させ、レプリカ解析を用いて多測定ベクトル（MMV）設定における最小平均二乗誤差（MMSE）を特徴づけ、未知ベクトルの事前知識がなくてもMMSEに匹敵する性能を達成するMCMCベースの汎用推定アルゴリズムを構築している。また、分散システムにおける通信、計算、推定品質の最適なトレードオフを確立している。

ABSTRACT

Many real-world problems in machine learning, signal processing, and communications assume that an unknown vector $x$ is measured by a matrix A, resulting in a vector $y=Ax+z$, where $z$ denotes the noise; we call this a single measurement vector (SMV) problem. Sometimes, multiple dependent vectors $x^{(j)}, j\in \{1,...,J\}$, are measured at the same time, forming the so-called multi-measurement vector (MMV) problem. Both SMV and MMV are linear models (LM's), and the process of estimating the underlying vector(s) $x$ from an LM given the matrices, noisy measurements, and knowledge of the noise statistics, is called a linear inverse problem. In some scenarios, the matrix A is stored in a single processor and this processor also records its measurements $y$; this is called centralized LM. In other scenarios, multiple sites are measuring the same underlying unknown vector $x$, where each site only possesses part of the matrix A; we call this multi-processor LM. Recently, due to an ever-increasing amount of data and ever-growing dimensions in LM's, it has become more important to study large-scale linear inverse problems. In this dissertation, we take advantage of tools in statistical physics and information theory to advance the understanding of large-scale linear inverse problems. The intuition of the application of statistical physics to our problem is that statistical physics deals with large-scale problems, and we can make an analogy between an LM and a thermodynamic system. In terms of information theory, although it was originally developed to characterize the theoretic limits of digital communication systems, information theory was later found to be rather useful in analyzing and understanding other inference problems. (The full abstract cannot fit in due to the space limit. Please refer to the PDF.)

研究の動機と目的

• 統計物理学および情報理論のツールを用いて、大規模な線形逆問題の理論的性能限界を理解すること。
• レプリカ解析を用いて、多測定ベクトル（MMV）問題における最小平均二乗誤差（MMSE）を特徴づけること。
• 分散線形逆問題における通信コスト、計算コスト、推定品質の間の最適なトレードオフを特定すること。
• 未知ベクトルに関する不正確または利用不可能な事前知識に依存しない、単一測定ベクトル（SMV）問題向けの汎用推定アルゴリズムを設計すること。
• 線形逆問題における最小エネルギー解に収束するMCMCフレームワークを構築し、理論的に正当化すること。

提案手法

• 統計物理学のレプリカ解析を適用して、MMV問題における理論的MMSE性能を導出し、異なる性能領域を特定する。
• 温度スケジュールを伴う非一様マルコフ連鎖を用いて反復的推定をモデル化し、最小エネルギー状態への収束を可能にする。
• 低余剰平均二乗誤差（MMSEを超える）における最適通信方式を検討するための分散アルゴリズムフレームワークを採用する。
• MCMCプロセスに温度依存の遷移行列を導入し、冷却スケジュールが低エネルギー構成への収束を駆動する。
• エルゴード理論を活用して、MCMCプロセスが最小エネルギー解の集合上での一様分布に強い収束を示すことを証明する。
• エネルギーギャップ∆qおよび温度減衰を用いて、マルコフ連鎖のエルゴード係数の境界を導出し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模な多測定ベクトル（MMV）線形逆問題におけるMMSEの理論的性能限界は何か？
• RQ2 分散線形逆問題において、通信コスト、計算コスト、推定品質の間の最適なトレードオフはどのように達成されるか？
• RQ3 未知ベクトルに関する事前知識が不正確または存在しない場合でも、良好に動作する汎用推定アルゴリズムをSMV問題向けに設計できるか？
• RQ4 非一様マルコフ連鎖が線形逆問題における最小エネルギー解の集合に収束するための条件は何か？
• RQ5 MCMCアルゴリズムにおける温度スケジュールは、収束性および推定精度にどのように影響するか？

主な発見

• レプリカ解析により、MMV問題における異なる性能領域が明らかになり、推定限界の理論的特徴づけが可能になった。
• 提案されたMCMCベースのアルゴリズムは、広範な数値実験において、未知ベクトルの事前知識がなくても理論的MMSEに近い平均二乗誤差を達成した。
• アルゴリズムで用いられる非一様マルコフ連鎖は強くエルゴード的であることが証明され、最小エネルギー解の集合上の一様分布への収束が保証された。
• 連続する定常分布間の全変動距離の和が収束することを確認し、強いエルゴード性およびアルゴリズムの収束性を裏付けた。
• エルゴード係数の下界として1 − exp(−st N ∆q)が導出され、適切な温度減衰のもとで弱エルゴード性が保証され、収束の支援が得られた。
• 本フレームワークにより、特にMMSEを超える余剰MSEが小さい極限において、通信コスト、計算コスト、推定品質の間の最適なトレードオフが確立された。