[论文解读] Multi-focal tensors as invariant differential forms

James C. Mathews|arXiv (Cornell University)|Oct 13, 2016

Image Processing Techniques and Applications参考文献 10被引用 4

一句话总结

本文提出一个通用框架，从斜对称张量的相对不变量出发，在 $(\mathbb{P}V)^n$ 上构造 $GL(V)$-不变加权微分形式，统一并推广了计算机视觉中的多焦点张量。该框架表明，这些形式可生成显式的张量子簇，包括一个类似于欧氏三焦点簇的辫子关系的新四次多项式约束系统。

ABSTRACT

For each relative $\operatorname{GL}(V)$-invariant tensor $I\in Λ^{p_1+1}V^{\vee}\otimes .. \otimes Λ^{p_n+1}V^{\vee}$ we construct a $\operatorname{GL}(V)$-invariant weighted differential form $η$ on $(\mathbb{P} V)^{n}$. Then $η$ is expressed explicitly with respect to $n$-tuples of frames for tangent spaces at points of $\mathbb{P} V$ to obtain elements of a different tensor space. For certain invariants $I$, the resulting elements are shown to be the multi-focal tensors appearing in the machine vision literature (Demazure 1988, Longuet-Higgins 1981, Luong 1992, Faugeras 1993, Faugeras and Luong 2001, Hartley and Zisserman 2003). This generalizes the 3 multi-focal varieties known in dimension $\dim V = 4$ to an infinite collection of special tensor subvarieties. We use this framework to exhibit a new system of degree 4 polynomial equations, reminiscent of the braid relation, satisfied by the Euclidean trifocal variety.

研究动机与目标

• 通过将多焦点张量嵌入一个通用的不变理论框架中，为机器视觉中使用的多焦点张量提供几何与代数基础。
• 通过 $GL(V)$-不变量，将已知的 $\dim V = 4$ 时的三焦点簇推广为无限多个特殊张量子簇族。
• 推导出新的代数约束——特别是欧氏三焦点张量满足的四次辫子型关系。
• 通过以运动标架和切空间数据表达不变量，将抽象的不变理论与计算几何在视觉感知中的具体应用相连接。
• 建立一种系统化方法，用于从多焦点不变量确定有限标架配置和运动标架，从而在几何重建中实现实际应用。

提出的方法

• 从相对不变量 $I \in (\Lambda^{p_1+1}V^\vee \otimes \cdots \otimes \Lambda^{p_n+1}V^\vee \otimes \chi)^{GL(V)}$ 构造 $(\mathbb{P}V)^n$ 上的 $GL(V)$-不变加权微分形式。
• 以 $\mathbb{P}V$ 上 $n$-元标架的组为基准，显式表达这些微分形式，得到取值于 $\bigotimes_{i=1}^n \Lambda^{p_i} T^\vee$ 的 $GL(V)$-不变函数。
• 利用柯尔祖尔循环和 $\mathbb{P}V$ 上微分形式的层论描述，将其与 $GL(V)$ 上的等变函数联系起来。
• 应用对称性约化技术，以标架坐标表达形式，从而在低维情形下实现显式计算。
• 在 $\dim V = 2,3,4$ 时，利用矩阵伴随和楔积显式推导双焦点与三焦点张量的张量表达式。
• 运用极化公式和行列式恒等式推导代数约束，包括辫子型关系 $t_i a_j t_i = t_j a_i t_j$。

实验结果

研究问题

• RQ1 如何从 $GL(V)$-不变理论系统地推导机器视觉中的多焦点张量？
• RQ2 由多焦点张量参数化的簇的几何结构是什么？它们如何推广已知的三焦点簇？
• RQ3 除了经典的三焦点约束外，哪些新的代数约束刻画了欧氏三焦点张量簇？
• RQ4 由不变量构造的微分形式如何与视觉几何中的运动标架配置相关联？
• RQ5 能否从欧氏三焦点张量的结构代数推导并验证辫子型关系 $t_i a_j t_i = t_j a_i t_j$？

主要发现

• 该构造对每个相对 $GL(V)$-不变量 $I$，在 $(\mathbb{P}V)^n$ 上生成一个 $GL(V)$-不变加权微分形式，推广了已知的多焦点结构。
• 当 $\dim V = 4$ 时，映射 $f_w(I)$ 的像是 $\bigotimes_{i=1}^n \Lambda^{p_i} T^\vee$ 的代数子簇，其中包含已知的三焦点簇作为特例。
• 推导出一组新的四次多项式方程，用于刻画欧氏三焦点簇，其形式类似于辫子关系。
• 对于欧氏三焦点张量，辫子型关系 $t_i a_j t_i = t_j a_i t_j$ 恒成立，且两边均等于 $(u \otimes w) \langle r_{\{i,j\}}, u \rangle \langle s_{\{j,i\}}, w \rangle$。
• 证明了和 $a_1 + a_2 + a_3$ 的经典伴随等于 $u \otimes w \langle \bar{u}, \bar{w} \rangle$，将伴随运算与对偶变换联系起来。
• 证明了 $3 \times 3$ 的张量积矩阵 $t_i a_j t_k$ 等于 $u \otimes w \otimes \bar{w} \otimes \bar{u}$，揭示了三焦点结构中深层的对称性。