[論文レビュー] Statistical physics of linear and bilinear inference problems

Christophe Schülke|arXiv (Cornell University)|Jul 3, 2016

Advanced Statistical Methods and Models参考文献 1被引用数 3

ひとこと要約

本学位論文は、統計物理学的手法、特に信念伝播とレプリカ法を用いて、線形および二重線形推定問題のためのメッセージパッシングアルゴリズムの開発と分析を行う。盲目的センサーキャリブレーションのための新規アルゴリズムを提唱し、行列圧縮センシングにおける理論的相転移解析を提供するとともに、一般化線形および二重線形モデルにおける状態遷移方程式を確立し、エネルギー準位の構造に基づいて容易、困難、または不可能な推定の領域を明らかにする。

ABSTRACT

The recent development of compressed sensing has led to spectacular advances in the understanding of sparse linear estimation problems as well as in algorithms to solve them. It has also triggered a new wave of developments in the related fields of generalized linear and bilinear inference problems, that have very diverse applications in signal processing and are furthermore a building block of deep neural networks. These problems have in common that they combine a linear mixing step and a nonlinear, probabilistic sensing step, producing indirect measurements of a signal of interest. Such a setting arises in problems as different as medical or astronomical imaging, clustering, matrix completion or blind source separation. The aim of this thesis is to propose efficient algorithms for this class of problems and to perform their theoretical analysis. To this end, it uses belief propagation, thanks to which high-dimensional distributions can be sampled efficiently, thus making a Bayesian approach to inference tractable. The resulting algorithms undergo phase transitions just as physical systems do. These phase transitions can be analyzed using the replica method, initially developed in statistical physics of disordered systems. The analysis reveals phases in which inference is easy, hard or impossible. These phases correspond to different energy landscapes of the problem. The main contributions of this thesis can be divided into three categories. First, the application of known algorithms to concrete problems: community detection, superposition codes and an innovative imaging system. Second, a new, efficient message-passing algorithm for a class of problems called blind sensor calibration. Third, a theoretical analysis of matrix compressed sensing and of instabilities in Bayesian bilinear inference algorithms.

研究の動機と目的

• 信号処理および機械学習に生じる一般化線形および二重線形推定問題のための、効率的で理論的裏付けのあるアルゴリズムの開発。
• 統計物理学的手法を用いて、低ランク行列圧縮センシングおよび二重線形モデルにおける推定の根本的限界の分析。
• エネルギー準位の構造を用いた解析により、推定性能における相転移（容易、困難、不可能）の特定。
• センサーアレイシステムに適用可能な、盲目的センサーキャリブレーションのための新規メッセージパッシングアルゴリズムの提案。
• 複素数およびスパース設定を含む一般化線形および二重線形モデルにおけるベイズ推定のための状態遷移方程式の導出と検証。

提案手法

• 高次元で複雑なモデルにおける効率的ベイズ推定を実現するため、信念伝播を用いる。
• パラメータの異なる領域における推定性能の相転移を分析するために、レプリカ法を適用する。
• メッセージパッシングアルゴリズムのための状態遷移方程式を導出し、推定誤差およびSNRの変化を追跡する。
• スパース信号に対して結合ガウス・ベルヌーイ事前分布を用い、実数または複素数変数に関する積分を用いて状態遷移を定式化する。
• 特定のケース（例：実数ゲインキャリブレーション）において、十分統計量を用いて高次元積分を低次元積分に還元する。
• 二重線形推定フレームワークにおいて未知のセンサーゲインを潜在変数としてモデル化することで、盲目的センサーキャリブレーションのための新アルゴリズムを提唱する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列圧縮センシングにおけるベイズ推定の根本的性能限界は何か。また、それらはシステムパラメータにどのように依存するか。
• RQ2 二重線形および一般化線形モデルにおいて、推定性能の相転移（容易、困難、不可能）はどのように生じるか。
• RQ3 高次元設定において最適性能を達成可能な、盲目的センサーキャリブレーションのための新規メッセージパッシングアルゴリズムを設計できるか。
• RQ4 複素数およびスパース信号モデルにおける一般化線形モデルの信念伝播の状態遷移方程式は、どのように拡張できるか。
• RQ5 ベイズ二重線形推定アルゴリズムにおける不安定性の原因となる解析的条件は何か。また、それらはどのように特徴づけられるか。

主な発見

• 未知のゲインを持つセンサーアレイに適用可能な、新規で効率的なメッセージパッシングアルゴリズムを盲目的センサーキャリブレーションのためのものとして提唱した。
• レプリカ法を用いた解析により、推定性能の相転移が明確に特定され、容易、困難、不可能な推定領域が明確に分離された。
• 複素数一般化線形モデル（位相再構成を含む）のための状態遷移方程式が導出され、特定の事前分布に対して正確な積分形が得られた。
• 複素数結合ガウス・ベルヌーイ事前分布の場合、信号分散の状態遷移は単一変数積分に簡略化され、効率的な数値評価が可能になった。
• 位相再構成において、ノイズ分散の状態遷移は実数変数に関する二重積分で表され、変形ベッセル関数を用いた閉形式表現が得られた。
• 理論的解析により、ベイズ二重線形推定における不安定性が生じることが明らかになり、その発生時期はエネルギー準位の構造と解析的に関連づけられた。