[论文解读] Statistical Physics and Information Theory Perspectives on Linear Inverse Problems

Junan Zhu|arXiv (Cornell University)|May 15, 2017

Sparse and Compressive Sensing Techniques参考文献 113被引用 4

一句话总结

本论文运用统计物理与信息论方法，推进大规模线性逆问题的研究，采用副本分析方法表征多测量向量（MMV）场景下的最小均方误差（MMSE），并开发了一种基于马尔可夫链蒙特卡洛（MCMC）的通用估计算法，该算法在无需已知未知向量先验知识的情况下，实现了接近MMSE的性能。此外，本研究还建立了分布式系统中通信、计算与估计质量之间的最优权衡。

ABSTRACT

Many real-world problems in machine learning, signal processing, and communications assume that an unknown vector $x$ is measured by a matrix A, resulting in a vector $y=Ax+z$, where $z$ denotes the noise; we call this a single measurement vector (SMV) problem. Sometimes, multiple dependent vectors $x^{(j)}, j\in \{1,...,J\}$, are measured at the same time, forming the so-called multi-measurement vector (MMV) problem. Both SMV and MMV are linear models (LM's), and the process of estimating the underlying vector(s) $x$ from an LM given the matrices, noisy measurements, and knowledge of the noise statistics, is called a linear inverse problem. In some scenarios, the matrix A is stored in a single processor and this processor also records its measurements $y$; this is called centralized LM. In other scenarios, multiple sites are measuring the same underlying unknown vector $x$, where each site only possesses part of the matrix A; we call this multi-processor LM. Recently, due to an ever-increasing amount of data and ever-growing dimensions in LM's, it has become more important to study large-scale linear inverse problems. In this dissertation, we take advantage of tools in statistical physics and information theory to advance the understanding of large-scale linear inverse problems. The intuition of the application of statistical physics to our problem is that statistical physics deals with large-scale problems, and we can make an analogy between an LM and a thermodynamic system. In terms of information theory, although it was originally developed to characterize the theoretic limits of digital communication systems, information theory was later found to be rather useful in analyzing and understanding other inference problems. (The full abstract cannot fit in due to the space limit. Please refer to the PDF.)

研究动机与目标

• 运用统计物理与信息论的工具，理解大规模线性逆问题的理论性能极限。
• 通过副本分析表征多测量向量（MMV）问题中的最小均方误差（MMSE）。
• 在分布式线性逆问题中，识别通信成本、计算成本与估计质量之间的最优权衡。
• 为单测量向量（SMV）问题设计一种通用估计算法，使其对未知向量的先验知识不准确或不可用时仍具鲁棒性。
• 开发并从理论上证明一种马尔可夫链蒙特卡洛（MCMC）框架，该框架可收敛至线性逆问题中的最小能量解。

提出的方法

• 应用统计物理中的副本分析方法，推导MMV问题中的理论MMSE性能，识别出不同的性能区域。
• 使用具有温度调度的非齐次马尔可夫链来建模迭代估计过程，实现向最小能量态的收敛。
• 采用分布式算法框架，研究在超出MMSE的极小过剩均方误差条件下的最优通信方案。
• 在MCMC过程中引入依赖温度的转移矩阵，其中冷却调度驱动系统收敛至低能量构型。
• 利用遍历性理论，证明MCMC过程强收敛至最小能量解集合上的均匀分布。
• 通过能量间隙∆q与温度衰减，推导马尔可夫链遍历系数的界，以确保收敛性。

实验结果

研究问题

• RQ1 在大规模多测量向量（MMV）线性逆问题中，MMSE的理论性能极限是什么？
• RQ2 在分布式线性逆问题中，通信成本、计算成本与估计质量之间的最优权衡关系如何？
• RQ3 能否为SMV问题设计一种通用估计算法，使其在不依赖未知向量先验知识的情况下仍表现良好？
• RQ4 在何种条件下，非齐次马尔可夫链可收敛至线性逆问题中的最小能量解集合？
• RQ5 MCMC算法中的温度调度如何影响收敛性与估计精度？

主要发现

• 副本分析揭示了MMV问题中MMSE表现出不同行为的显著性能区域，从而实现了对估计极限的理论表征。
• 所提出的基于MCMC的算法在广泛数值实验中实现了接近理论MMSE的均方误差，即使在未知向量先验知识缺失的情况下亦成立。
• 算法中使用的非齐次马尔可夫链被证明是强遍历的，保证了其收敛至最小能量解集合上的均匀分布。
• 连续稳定态分布之间总变差距离之和收敛，证实了强遍历性及算法的收敛性。
• 推导出遍历系数的下界为1 − exp(−st N ∆q)，该下界确保了弱遍历性，并在适当的温度衰减条件下支持收敛。
• 该框架在分布式线性逆问题中建立了通信成本、计算成本与估计质量之间的最优权衡，尤其在超出MMSE的极小过剩均方误差极限下表现显著。