[论文解读] Homomorphic Sensing

Manolis C. Tsakiris, Liangzu Peng|arXiv (Cornell University)|Jan 23, 2019

Sparse and Compressive Sensing Techniques参考文献 35被引用 10

一句话总结

本论文提出了同态感知（homomorphic sensing），这是一种代数框架，可在一般条件下保证从排列后且子采样的测量值中唯一恢复信号。该研究提出了两种基于动态规划的算法——算法-A与算法-B，为小维度下的无标签感知问题提供了首个可行解，其中算法-B在仿射变换下的图像配准任务中表现优于当前最先进方法。

ABSTRACT

A recent line of research termed unlabeled sensing and shuffled linear regression has been exploring under great generality the recovery of signals from subsampled and permuted measurements; a challenging problem in diverse fields of data science and machine learning. In this paper we introduce an abstraction of this problem which we call homomorphic sensing. Given a linear subspace and a finite set of linear transformations we develop an algebraic theory which establishes conditions guaranteeing that points in the subspace are uniquely determined from their homomorphic image under some transformation in the set. As a special case, we recover known conditions for unlabeled sensing, as well as new results and extensions. On the algorithmic level we exhibit two dynamic programming based algorithms, which to the best of our knowledge are the first working solutions for the unlabeled sensing problem for small dimensions. One of them, additionally based on branch-and-bound, when applied to image registration under affine transformations, performs on par with or outperforms state-of-the-art methods on benchmark datasets.

研究动机与目标

• 开发一种通用的代数理论，用于从经未知排列和子空间变换的测量值中恢复信号，扩展无标签感知与打乱线性回归问题。
• 建立充分条件，使得线性子空间中的信号能从其在有限个线性变换下的同态像中唯一识别。
• 设计可扩展的精确算法，用于求解在暴力搜索方法失效的小维度场景下的无标签感知问题。
• 将所提框架应用于真实世界问题，如仿射变换下的图像配准，实现具有竞争力或更优的性能。

提出的方法

• 提出同态感知的正式框架，将信号恢复建模为从有限个未知变换下的图像中识别子空间中的点。
• 利用代数几何与对称多项式推导出排列不变的约束条件，确保即使在噪声环境下也能进行代数估计。
• 提出算法-A，一种基于动态规划的方法，结合分支限界剪枝策略，高效探索小规模问题的解空间。
• 开发算法-B，另一种基于动态规划的方法，具有更高的可扩展性与对高异常值比例的鲁棒性，尤其在测量数远小于原始信号维度时表现更优。
• 将算法-A适配于图像配准任务，通过将仿射变换建模为6维参数，并利用线性分配算法求解对应关系问题。
• 在算法-A中采用下界估计策略以剪枝搜索空间，但该策略被指出较为松散，限制了其在更高维度或大异常值比例下的可扩展性。

实验结果

研究问题

• RQ1 在何种代数条件下，能从排列并子采样的测量值中唯一恢复线性子空间中的信号？
• RQ2 基于分支限界策略的动态规划方法能否为小维度信号的无标签感知问题提供精确解？
• RQ3 所提算法在仿射变换下图像配准任务及高异常值比例场景中的性能与当前最先进方法相比如何？
• RQ4 同态感知框架能否扩展以处理含噪声与部分观测的数据，同时保持理论保证？
• RQ5 有效异常值比例（如图像配准中的1−2k/m）对所提算法的可扩展性与准确性有何影响？

主要发现

• 论文证明，对于通用测量矩阵，当测量数至少为信号内在维度的两倍时，在同态感知框架下可保证唯一恢复信号。
• 算法-A与算法-B是首个在小维度（n ≤ 4）下实现无标签感知的精确可行解，其中算法-B对高异常值比例与噪声具有鲁棒性。
• 在图像配准任务中，基于算法-A的算法-C在性能上与APM、CPD和GMMREG相当或更优，尤其在高异常值比例下APM失效时表现更优。
• 在高异常值比例下，算法-C的终止时间显著短于APM，表明其分支限界结构可能比APM的迭代优化更高效。
• 当异常值比例较低时，APM收敛迅速，限制了算法-C的运行时间预算；然而在高异常值场景下，算法-C因能更好处理稀疏对应关系而在准确性上优于APM。
• 在n=3, m=100, k=80, 噪声σ=0.01的1000次试验中，方法的相对误差小于0.01，表明其在不同噪声与打乱水平下均表现出强鲁棒性。