[論文レビュー] Learning Landmarks from Unaligned Data using Image Translation

Tomáš Jakab, Ankush Gupta+2 more|arXiv (Cornell University)|Jul 3, 2019

Human Pose and Action Recognition参考文献 67被引用数 10

ひとこと要約

本論文は、非対応の動画フレームとスパarsなアノテーションから、ランドマーク検出を画像からスケルトンへの変換タスクとして定式化することで、教師なしの新規手法を提案する。微分可能スケルトンレンダラと、外見条件付き再構成を施した変更版CycleGANを用いることで、ポーズや外見の漏洩に依存せず、挑戦的なベンチマークで最先端の性能を達成する。

ABSTRACT

We introduce a method for learning landmark detectors from unlabelled video frames and unpaired labels. This allows us to learn a detector from a large collection of raw videos given only a few example annotations harvested from existing data or motion capture. We achieve this by formulating the landmark detection task as one of image translation, learning to map an image of the object to an image of its landmarks, represented as a skeleton. The advantage is that this translation problem can then be tackled by CycleGAN. However, we show that a naive application of CycleGAN confounds appearance and pose information, with suboptimal keypoint detection performance. We solve this problem by introducing an analytical and differentiable renderer for the skeleton image so that no appearance information can be leaked in the skeleton. Then, since cycle consistency requires to reconstruct the input image from the skeleton, we supply the appearance information thus removed by conditioning the generator with a second image of the same object (e.g. another frame from a video). Furthermore, while CycleGAN uses two cycle consistency constraints, we show that the second one is detrimental in this application and we discard it, significantly simplifying the model. We show that these modifications improve the quality of the learned detector leading to state-of-the-art unsupervised landmark detection performance in a number of challenging human pose and facial landmark detection benchmarks.

研究の動機と目的

• 対応データを必要とせず、非対応の動画フレームとスパarsなアノテーションからランドマーク検出を可能にすること。
• 標準的なCycleGANベースの画像変換における外見とポーズの混同を解消すること。
• 解析的で微分可能なレンダラを用いてスケルトン表現における外見漏洩を排除すること。
• 翻訳タスクにおける不要なサイクル整合性制約を削除することでモデルを簡素化すること。
• 人体ポーズおよび顔面ランドマークベンチマークで、教師なしランドマーク検出の最先端性能を達成すること。

提案手法

• 入力画像をスケルトン表現にマッピングする画像からスケルトンへの変換タスクとしてランドマーク検出を定式化する。
• 外見情報を持たない、微分可能で解析的なレンダラを導入し、スケルトン表現への外見情報の漏洩を防止する。
• 同じオブジェクトの2番目の画像（例：別の動画フレーム）を生成器に条件付け、再構成中に外見を保持する。
• この設定では有害であるため、2番目のサイクル整合性損失を廃止し、モデルアーキテクチャを簡素化する。
• 入力画像をスケルトンから再構成するよう制約を課すが、条件付き入力を通じて外見を保持する、変更版CycleGANフレームワークでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 非対応の動画フレームとスパarsなアノテーションから、画像変換を用いてランドマーク検出を効果的に学習できるか？
• RQ2 変換プロセスにおいて外見とポーズの情報をどのように分離し、性能の低下を回避できるか？
• RQ3 この特定のタスクにおいて、2番目のサイクル整合性制約は果たす役割は何か？安全に削除可能か？
• RQ4 微分可能なスケルトンレンダラは、スケルトン表現における外見漏洩を排除できるか？
• RQ5 提案手法は、ベンチマークデータセットで教師なしランドマーク検出の最先端性能を達成できるか？

主な発見

• 提案手法は、複数のベンチマークで教師なし人体ポーズおよび顔面ランドマーク検出において最先端の性能を達成する。
• 微分可能なスケルトンレンダラの使用により、外見情報がスケルトン表現に漏洩するのを効果的に防止した。
• 2番目のサイクル整合性制約を削除することで、モデルが大幅に簡素化され、性能が向上した。
• 生成器を2番目の画像で条件付けたことで、再構成中に外見が保持され、検出精度が向上した。
• 大規模な非対応動画データから、僅かな例アノテーションのみで効果的な学習が可能となり、高コストな対応データへの依存が軽減された。