[论文解读] Statistical physics of linear and bilinear inference problems

Christophe Schülke|arXiv (Cornell University)|Jul 3, 2016

Advanced Statistical Methods and Models参考文献 1被引用 3

一句话总结

本论文运用统计物理工具，特别是信念传播和复制方法，开发并分析了线性和双线性推理问题的消息传递算法。论文提出了一种用于盲传感器校准的新算法，对矩阵压缩感知中的理论相变进行了分析，并为广义线性与双线性模型建立了状态演化方程，揭示了基于能量景观结构的易、难或不可能推理区域。

ABSTRACT

The recent development of compressed sensing has led to spectacular advances in the understanding of sparse linear estimation problems as well as in algorithms to solve them. It has also triggered a new wave of developments in the related fields of generalized linear and bilinear inference problems, that have very diverse applications in signal processing and are furthermore a building block of deep neural networks. These problems have in common that they combine a linear mixing step and a nonlinear, probabilistic sensing step, producing indirect measurements of a signal of interest. Such a setting arises in problems as different as medical or astronomical imaging, clustering, matrix completion or blind source separation. The aim of this thesis is to propose efficient algorithms for this class of problems and to perform their theoretical analysis. To this end, it uses belief propagation, thanks to which high-dimensional distributions can be sampled efficiently, thus making a Bayesian approach to inference tractable. The resulting algorithms undergo phase transitions just as physical systems do. These phase transitions can be analyzed using the replica method, initially developed in statistical physics of disordered systems. The analysis reveals phases in which inference is easy, hard or impossible. These phases correspond to different energy landscapes of the problem. The main contributions of this thesis can be divided into three categories. First, the application of known algorithms to concrete problems: community detection, superposition codes and an innovative imaging system. Second, a new, efficient message-passing algorithm for a class of problems called blind sensor calibration. Third, a theoretical analysis of matrix compressed sensing and of instabilities in Bayesian bilinear inference algorithms.

研究动机与目标

• 为信号处理与机器学习中出现的广义线性与双线性推理问题，开发高效且理论基础扎实的算法。
• 运用统计物理技术分析低秩矩阵压缩感知与双线性模型中推理的根本极限。
• 通过能量景观分析，表征推理性能的相变——易、难或不可能。
• 提出一种用于盲传感器校准的新消息传递算法，适用于传感器阵列系统。
• 推导并验证广义线性与双线性模型中贝叶斯推理的状态演化方程，涵盖复数与稀疏情形。

提出的方法

• 利用信念传播在高维复杂模型中实现高效的贝叶斯推理。
• 应用复制方法分析不同参数区域下推理性能的相变。
• 推导消息传递算法的状态演化方程，追踪估计误差与信噪比的演化。
• 对稀疏信号采用联合高斯-伯努利先验，并以实数或复数变量上的积分为形式表述状态演化。
• 在特定情形（如实数增益校准）中，通过充分统计量将高维积分简化为低维积分。
• 通过在双线性推理框架中将未知传感器增益建模为隐变量，提出一种新的盲传感器校准算法。

实验结果

研究问题

• RQ1 贝叶斯推理在低秩矩阵压缩感知中的根本性能极限是什么？它们如何依赖于系统参数？
• RQ2 在双线性与广义线性模型中，推理性能的相变——易、难或不可能——是如何产生的？
• RQ3 能否设计一种新的消息传递算法用于盲传感器校准，使其在高维设置下达到最优性能？
• RQ4 广义线性模型中信念传播的状态演化方程如何推广至复数与稀疏信号模型？
• RQ5 导致贝叶斯双线性推理算法不稳定的分析条件是什么？它们如何被表征？

主要发现

• 提出了一种新型高效的消息传递算法用于盲传感器校准，适用于具有未知增益的传感器阵列。
• 利用复制方法对推理性能的相变进行了理论表征，揭示了易、难与不可能推理的明确区域。
• 为复数广义线性模型（包括相位检索）推导出状态演化方程，对特定先验具有精确的积分表达形式。
• 对于复数联合高斯-伯努利先验，信号方差的状态演化可简化为单变量积分，从而实现高效的数值计算。
• 在相位检索中，噪声方差的状态演化涉及实变量上的双重积分，其闭式表达可通过修正贝塞尔函数表示。
• 理论分析表明，贝叶斯双线性推理中的不稳定性可能产生，其出现与能量景观的结构存在解析关联。