[论文解读] MONET: Multiview Semi-supervised Keypoint via Epipolar Divergence.

Yasamin Jafarian, Yuan Yao+1 more|arXiv (Cornell University)|May 31, 2018

Advanced Vision and Imaging参考文献 38被引用 12

一句话总结

MONET 是一种端到端的弱监督学习框架，利用多视角几何在未标注图像流上训练关键点检测器，通过引入可微的“对极分歧”（epipolar divergence）——一种衡量对极约束违反程度的可微度量——来对齐多视角的关键点预测。该方法在包括人类、狗和猴子在内的多种物种上实现了对自定义关键点的高精度定位，且仅需极少的人工标注数据。

ABSTRACT

This paper presents MONET -- an end-to-end semi-supervised learning framework for a keypoint detector using multiview image streams. In particular, we consider general subjects such as non-human species where attaining a large scale annotated dataset is challenging. While multiview geometry can be used to self-supervise the unlabeled data, integrating the geometry into learning a keypoint detector is challenging due to representation mismatch. We address this mismatch by formulating a new differentiable representation of the epipolar constraint called epipolar divergence---a generalized distance from the epipolar lines to the corresponding keypoint distribution. Epipolar divergence characterizes when two view keypoint distributions produce zero reprojection error. We design a twin network that minimizes the epipolar divergence through stereo rectification that can significantly alleviate computational complexity and sampling aliasing in training. We demonstrate that our framework can localize customized keypoints of diverse species, e.g., humans, dogs, and monkeys.

研究动机与目标

• 解决在缺乏大规模标注数据集的非人类物种上训练关键点检测器的挑战。
• 利用多视角几何实现弱监督关键点学习中的自监督信号。
• 解决几何约束与关键点预测分布之间的表征不匹配问题。
• 设计一种可微的、具备几何感知能力的损失函数，以支持在无标签多视角数据上的端到端训练。
• 在仅使用极少人工标注数据的前提下，实现对多样化物种中自定义关键点的高精度定位。

提出的方法

• 提出对极分歧作为预测关键点分布到对极线距离的可微度量，量化重投影误差。
• 设计一种双分支网络架构，处理经过立体校正的图像对，以降低计算复杂度并减少采样混叠。
• 在训练过程中最小化对极分歧，以在无需显式关键点对应关系的情况下强制实现多视角间的几何一致性。
• 利用立体校正将对极线对齐为水平线，简化对极约束的计算。
• 将可微的对极分歧损失集成到端到端的弱监督关键点检测训练流程中。
• 采用类似对比学习的策略，利用无标签数据鼓励多视角间的一致性关键点预测。

实验结果

研究问题

• RQ1 对极分歧能否作为多视角弱监督学习中关键点检测的有效、可微监督信号？
• RQ2 立体校正的使用在多视角关键点学习中如何提升训练效率并减少混叠？
• RQ3 MONET 在仅使用极少人工标注数据的情况下，能在多样化非人类物种上实现多大程度的自定义关键点定位？
• RQ4 与传统几何约束相比，对极分歧在训练稳定性和准确性方面表现如何？
• RQ5 该框架能否泛化到具有复杂或可变体型结构的物种（如猴子和狗）？

主要发现

• MONET 在包括人类、狗和猴子在内的多种物种上实现了弱监督关键点检测的最先进性能，且仅需极少人工标注数据。
• 对极分歧的使用实现了有效的自监督，显著提升了在无标签多视角数据上的关键点定位精度。
• 立体校正降低了计算复杂度并减少了采样混叠，从而带来更稳定高效的训练过程。
• 该框架能够以高精度在形态和运动模式各异的物种上定位自定义关键点。
• 对极分歧有效捕捉了多视角间的几何一致性，当关键点分布与对极线对齐时，重投影误差为零。
• 该方法在大规模标注不切实际的非人类物种上展现出强大的泛化能力。