[论文解读] Learning Landmarks from Unaligned Data using Image Translation

Tomáš Jakab, Ankush Gupta+2 more|arXiv (Cornell University)|Jul 3, 2019

Human Pose and Action Recognition参考文献 67被引用 10

一句话总结

本文提出了一种新颖的无监督方法，通过将关键点检测建模为图像到骨骼的转换任务，从未配对的视频帧和稀疏标注中学习人体与面部关键点检测器。利用可微分的骨骼渲染器和一种带有外观条件重建的改进型CycleGAN，该方法在不依赖姿态或外观泄露的情况下，在具有挑战性的基准测试中实现了最先进性能。

ABSTRACT

We introduce a method for learning landmark detectors from unlabelled video frames and unpaired labels. This allows us to learn a detector from a large collection of raw videos given only a few example annotations harvested from existing data or motion capture. We achieve this by formulating the landmark detection task as one of image translation, learning to map an image of the object to an image of its landmarks, represented as a skeleton. The advantage is that this translation problem can then be tackled by CycleGAN. However, we show that a naive application of CycleGAN confounds appearance and pose information, with suboptimal keypoint detection performance. We solve this problem by introducing an analytical and differentiable renderer for the skeleton image so that no appearance information can be leaked in the skeleton. Then, since cycle consistency requires to reconstruct the input image from the skeleton, we supply the appearance information thus removed by conditioning the generator with a second image of the same object (e.g. another frame from a video). Furthermore, while CycleGAN uses two cycle consistency constraints, we show that the second one is detrimental in this application and we discard it, significantly simplifying the model. We show that these modifications improve the quality of the learned detector leading to state-of-the-art unsupervised landmark detection performance in a number of challenging human pose and facial landmark detection benchmarks.

研究动机与目标

• 在无需对齐训练数据的情况下，实现从未配对视频帧和稀疏标注中进行关键点检测。
• 解决标准基于CycleGAN的图像转换在关键点学习中出现的外观与姿态混淆问题。
• 通过一种解析的、可微分的渲染器，消除骨骼表征中的外观泄露。
• 通过移除翻译任务中冗余的循环一致性约束，简化模型结构。
• 在人体姿态和面部关键点基准测试中，实现无监督关键点检测的最先进性能。

提出的方法

• 将关键点检测建模为图像到骨骼的转换任务，将输入图像映射到骨骼表征。
• 引入一种可微分的、解析的渲染器，生成不包含外观信息的骨骼图像，从而防止信息泄露。
• 通过同一对象的第二张图像（例如另一视频帧）对生成器进行条件控制，以在重建过程中保持外观一致性。
• 放弃第二个循环一致性损失，因其在此设置中具有负面影响，从而简化模型架构。
• 使用改进的CycleGAN框架进行模型训练，该框架在保留外观信息的条件下，强制从骨骼表征中重建输入图像。

实验结果

研究问题

• RQ1 能否通过图像转换方法，从未配对的视频帧和稀疏标注中有效学习关键点检测？
• RQ2 在转换过程中，如何解耦外观与姿态信息，以避免性能下降？
• RQ3 第二个循环一致性约束在此特定任务中起什么作用？是否可以安全地移除？
• RQ4 可微分的骨骼渲染器能否有效消除骨骼表征中的外观泄露？
• RQ5 所提出的方法是否在基准数据集上实现了无监督关键点检测的最先进性能？

主要发现

• 所提方法在多个基准测试中，均实现了无监督人体姿态与面部关键点检测的最先进性能。
• 使用可微分骨骼渲染器成功防止了外观信息泄露到骨骼表征中。
• 移除第二个循环一致性约束显著简化了模型并提升了性能。
• 通过在生成器中引入第二张图像进行条件控制，有效保持了重建过程中的外观一致性，从而提高了检测精度。
• 该方法可实现大规模未配对视频数据的有效训练，仅需少量示例标注，显著降低了对昂贵配对数据的依赖。