[论文解读] Minimax rates in permutation estimation for feature matching

Olivier Collier, Arnak S. Dalalyan|arXiv (Cornell University)|Oct 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 22被引用 20

一句话总结

本文对特征匹配中的排列估计进行了极小极大统计分析，建立了在同方差和异方差噪声下的相合性精确速率。当 $ d = O(\log n) $ 时，显示出一个相变点，此时极小极大分离速率从 $ \sigma(\log n)^{1/2} $（与维度无关）转变为当 $ d $ 超过 $ c\log n $ 时的 $ \sigma(d\log n)^{1/4} $，并对四种估计器（贪心法、最小平方和、最小归一化平方和、最小对数和）给出了紧致上界。

ABSTRACT

The problem of matching two sets of features appears in various tasks of computer vision and can be often formalized as a problem of permutation estimation. We address this problem from a statistical point of view and provide a theoretical analysis of the accuracy of several natural estimators. To this end, the minimax rate of separation is investigated and its expression is obtained as a function of the sample size, noise level and dimension. We consider the cases of homoscedastic and heteroscedastic noise and establish, in each case, tight upper bounds on the separation distance of several estimators. These upper bounds are shown to be unimprovable both in the homoscedastic and heteroscedastic settings. Interestingly, these bounds demonstrate that a phase transition occurs when the dimension $d$ of the features is of the order of the logarithm of the number of features $n$. For $d=O(\\log n)$, the rate is dimension free and equals $\\sigma (\\log n)^{1/2}$, where $\\sigma$ is the noise level. In contrast, when $d$ is larger than $c\\log n$ for some constant $c>0$, the minimax rate increases with $d$ and is of the order $\\sigma(d\\log n)^{1/4}$. We also discuss the computational aspects of the estimators and provide empirical evidence of their consistency on synthetic data. Finally, we show that our results extend to more general matching criteria.

研究动机与目标

• 在统计建模下，建立特征匹配中排列估计的极小极大分离速率。
• 分析四种自然估计器（贪心法、最小平方和（LSS）、最小归一化平方和（LSNS）、最小对数和（LSL））在不同噪声假设下的相合性。
• 刻画当特征维度 $ d $ 相对于 $ \log n $ 变化时估计精度的相变现象，其中 $ n $ 为特征数量。
• 在同方差与异方差噪声设定下，提供不可改进的分离距离上界。

提出的方法

• 本文通过测试框架推导极小极大下界，构造了一组具有两两汉明距离至少 $ 1/2 $ 的排列集合，利用错位排列的组合界。
• 采用假设检验方法推导极小极大分离速率，构造了 $ M \geq (n/8)^{n/2} $ 个排列，其相互汉明距离 $ \geq 1/2 $，确保在噪声下不可区分。
• 对于上界分析，本文研究了四种估计器：贪心法（顺序最近邻）、LSS（最小化平方残差和）、LSNS（已知异方差噪声）、LSL（未知异方差噪声），并证明其在所推导的分离条件下具有相合性。
• 分析依赖于高斯与次高斯噪声的集中不等式与尾部概率界，尤其适用于高维情形。
• 通过合成实验验证了理论结果，展示了在不同 $ n $、$ d $ 与 $ \sigma $ 下所有四种估计器的一致性。
• 该框架被扩展至平方损失之外的更一般匹配准则，表明所推导的极小极大速率具有鲁棒性。

实验结果

研究问题

• RQ1 在同方差与异方差噪声下，特征匹配中排列估计的极小极大分离速率是什么？
• RQ2 极小极大速率如何依赖于特征数量 $ n $、特征维度 $ d $ 与噪声水平 $ \sigma $？
• RQ3 当 $ d $ 与 $ \log n $ 成比例时，估计速率是否发生相变？若发生，其前后两个阶段分别是什么？
• RQ4 所提出的估计器（贪心法、LSS、LSNS 与 LSL）在所推导的极小极大分离条件下是否具有相合性？
• RQ5 理论边界能否推广至平方损失之外的更一般匹配准则？

主要发现

• 当 $ d = O(\log n) $ 时，极小极大分离速率为 $ \sigma(\log n)^{1/2} $，表明处于与维度无关的区域。
• 当 $ d > c\log n $（$ c > 0 $）时，极小极大速率增加至 $ \sigma(d\log n)^{1/4} $，显示出明显的相变。
• 四种估计器（贪心法、LSS、LSNS、LSL）的上界均不可改进，与极小极大下界仅相差一个常数因子。
• 相变精确发生于 $ d \asymp \log n $ 处，将低维区域与高维区域分隔开。
• 合成数据上的实证结果证实了在理论条件下所有四种估计器的一致性。
• 极小极大速率与理论边界可推广至平方损失之外的更一般匹配准则，表明该框架具有鲁棒性。