[论文解读] Identifiability Scaling Laws in Bilinear Inverse Problems

Sunav Choudhary, Urbashi Mitra|arXiv (Cornell University)|Feb 11, 2014

Blind Source Separation Techniques参考文献 18被引用 33

一句话总结

本文通过提升方法将双线性逆问题（BIPs）转化为低秩矩阵恢复问题，提出了一套统一的框架以分析其可辨识性。该框架建立了确定性可辨识条件，并推导出可辨识性概率与秩二零空间复杂度之间的权衡 scaling laws，表明当零空间复杂度适中时，大多数随机信号实例均可被辨识，且在盲去卷积变体上进行了数值验证。

ABSTRACT

A number of ill-posed inverse problems in signal processing, like blind deconvolution, matrix factorization, dictionary learning and blind source separation share the common characteristic of being bilinear inverse problems (BIPs), i.e. the observation model is a function of two variables and conditioned on one variable being known, the observation is a linear function of the other variable. A key issue that arises for such inverse problems is that of identifiability, i.e. whether the observation is sufficient to unambiguously determine the pair of inputs that generated the observation. Identifiability is a key concern for applications like blind equalization in wireless communications and data mining in machine learning. Herein, a unifying and flexible approach to identifiability analysis for general conic prior constrained BIPs is presented, exploiting a connection to low-rank matrix recovery via lifting. We develop deterministic identifiability conditions on the input signals and examine their satisfiability in practice for three classes of signal distributions, viz. dependent but uncorrelated, independent Gaussian, and independent Bernoulli. In each case, scaling laws are developed that trade-off probability of robust identifiability with the complexity of the rank two null space. An added appeal of our approach is that the rank two null space can be partly or fully characterized for many bilinear problems of interest (e.g. blind deconvolution). We present numerical experiments involving variations on the blind deconvolution problem that exploit a characterization of the rank two null space and demonstrate that the scaling laws offer good estimates of identifiability.

研究动机与目标

• 为解决盲去卷积和字典学习等病态双线性逆问题（BIPs）中的根本性可辨识挑战。
• 通过基于提升的重构方法，将不同 BIPs 的可辨识性分析统一为低秩矩阵恢复问题。
• 推导概率 scaling laws，量化可辨识性概率如何依赖于双线性映射的秩二零空间复杂度。
• 通过证明关键问题（如盲去卷积）的秩二零空间可被部分或完全表征，实现可辨识性的实用评估。
• 通过在盲去卷积问题变体上使用重加权核范数启发式方法的数值实验，验证理论 scaling laws。

提出的方法

• 本文采用提升技术，将具有锥形先验约束的 BIPs 转化为低秩矩阵恢复问题，从而可应用矩阵恢复理论中的工具。
• 提出基于信号空间与双线性映射秩二零空间之间几何关系的确定性可辨识条件。
• 对关键 BIPs（如线性卷积）的秩二零空间进行表征，并据此推导可辨识性的 scaling laws。
• 对于无法进行穷举零空间搜索的情况（如连续高斯输入），本文采用重加权核范数启发式方法来估计可辨识失败概率。
• 利用测度集中与零空间性质推导理论边界，结果针对三类信号集合进行特化：相关但不相关、独立高斯、独立伯努利。
• 通过失败概率与信号维度的半对数图进行数值验证，将模拟结果与理论预测进行比较。

实验结果

研究问题

• RQ1 当两个输入信号均未知时，双线性逆问题在何种条件下可恢复唯一解？
• RQ2 双线性映射的秩二零空间复杂度如何影响随机信号实例的可辨识概率？
• RQ3 对于典型信号集合（如独立高斯或伯努利向量），是否可高概率保证可辨识性？
• RQ4 双线性映射（如线性卷积）的秩二零空间在多大程度上可被解析表征，从而实现实用的可辨识性分析？
• RQ5 所推导的 scaling laws 是否能准确预测盲去卷积变体在数值实验中的经验失败概率？

主要发现

• 稳健可辨识性的概率与秩二零空间复杂度成反比，对于固定输入规模，失败概率的对数与信号维度呈线性依赖关系。
• 对于独立高斯输入，模拟失败概率随维度呈指数衰减，拟合斜率在 0.94 到 1.08 之间，与定理 5 所预测的理论 scaling 非常吻合。
• 线性卷积映射的秩二零空间可被部分表征，从而支持可辨识 scaling laws 的推导与数值验证。
• 重加权核范数启发式方法提供了一种实用方法，即使在零空间不可数无限时也可估计可辨识失败概率，尽管收敛性可能非单调。
• 理论与模拟结果共同表明，当零空间复杂度不过大时，大多数随机信号实例均可被辨识，支持所提 scaling laws 的实用性。
• 该框架具有通用性，由于基于统一的提升方法，可适用于广泛 BIPs，包括盲去卷积、矩阵分解与字典学习。