[论文解读] Macroscopic Analysis of Vector Approximate Message Passing in a Model Mismatch Setting

T. Takahashi, Yoshiyuki Kabashima|arXiv (Cornell University)|Jan 9, 2020

Blind Source Separation Techniques参考文献 19被引用 6

一句话总结

本文针对在推断中使用的似然函数和先验分布与真实生成模型不匹配时的向量近似消息传递（VAMP）算法，发展了一套宏观状态演化分析。通过运用统计物理方法，作者推导出其固定点与副本对称解一致的状态演化方程，并识别出与副本对称性破缺相符的微观不稳定性条件，该结论通过数值实验得到验证。

ABSTRACT

Vector approximate message passing (VAMP) is an efficient approximate inference algorithm used for generalized linear models. Although VAMP exhibits excellent performance, particularly when measurement matrices are sampled from rotationally invariant ensembles, existing convergence and performance analyses have been limited mostly to cases in which the correct posterior distribution is available. Here, we extend the analyses for cases in which the correct posterior distribution is not used in the inference stage. We derive state evolution equations, which macroscopically describe the dynamics of VAMP, and show that their fixed point is consistent with the replica symmetric solution obtained by the replica method of statistical mechanics. We also show that the fixed point of VAMP can exhibit a microscopic instability, the critical condition of which agrees with that for breaking the replica symmetry. The results of numerical experiments support our findings.

研究动机与目标

• 将VAMP的理论分析从后验知识完全正确的理想情况扩展至实际中常见的模型不匹配场景。
• 推导在推断中似然函数或先验分布与真实生成模型不一致时，描述VAMP动态行为的宏观状态演化方程。
• 建立VAMP状态演化固定点与统计力学中副本对称解之间的联系。
• 识别并表征一种与副本对称性破缺 onset 相对应的VAMP微观不稳定性。

提出的方法

• 作者运用统计物理中的工具，特别是副本方法，分析在模型不匹配条件下的VAMP。
• 推导出描述VAMP迭代宏观动态的标量状态演化（SE）方程。
• 分析假设测量矩阵具有旋转对称性，并考虑推断模型中似然函数和先验分布的不匹配。
• 对VAMP更新应用微扰展开，以推导波动的主导行为，从而导出不稳定性条件。
• 通过从状态演化方程导出的类似雅可比矩阵的最大特征值，分析固定点的稳定性。
• 该方法将VAMP状态演化固定点与副本对称解联系起来，并通过渐近分析验证其一致性。

实验结果

研究问题

• RQ1 当推断模型在似然函数和先验分布上与真实生成模型不匹配时，VAMP的性能如何？
• RQ2 能否为模型不匹配条件下的VAMP建立宏观状态演化框架？其预测的固定点是否与副本对称解一致？
• RQ3 VAMP表现出微观不稳定的条件是什么？它与副本对称性破缺有何关系？
• RQ4 由状态演化推导出的不稳定性阈值是否与副本对称性破缺的临界点一致？
• RQ5 数值实验如何验证状态演化和不稳定性条件的理论预测？

主要发现

• 在模型不匹配条件下，所推导的VAMP状态演化方程的固定点，与统计力学中通过副本方法获得的副本对称解完全一致。
• VAMP固定点的微观不稳定性发生在不稳定性矩阵的最大特征值超过1时，表明收敛性遭到破坏。
• 该不稳定性临界条件恰好与副本对称性破缺的阈值一致，揭示了算法稳定性与统计力学稳定性之间深层次的联系。
• 数值实验表明，状态演化预测能准确描述模型不匹配条件下VAMP的实际动态行为。
• 由状态演化推导出的不稳定性条件在不同类型的似然函数和先验分布不匹配设置下均保持一致，表明理论框架具有鲁棒性。
• 该分析将VAMP的理论保证从i.i.d.高斯矩阵扩展至旋转对称矩阵集合，即使在模型不匹配条件下依然成立。