[論文レビュー] Object landmark discovery through unsupervised adaptation

Enrique Sánchez, Georgios Tzimiropoulos|arXiv (Cornell University)|Oct 21, 2019

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、ラベルなしで新しいオブジェクトカテゴリに適応可能な教師ありランドマーク検出器を用いた、非教師付きオブジェクトランドマーク発見手法を提案する。事前学習済みネットワークを固定し、非教師学習で僅かな投影行列のみを学習することで、学習から再開するか、微調整するのと比較して顕著に向上した局所化精度と安定性を達成し、最先端の性能を実現した。

ABSTRACT

This paper proposes a method to ease the unsupervised learning of object landmark detectors. Similarly to previous methods, our approach is fully unsupervised in a sense that it does not require or make any use of annotated landmarks for the target object category. Contrary to previous works, we do however assume that a landmark detector, which has already learned a structured representation for a given object category in a fully supervised manner, is available. Under this setting, our main idea boils down to adapting the given pre-trained network to the target object categories in a fully unsupervised manner. To this end, our method uses the pre-trained network as a core which remains frozen and does not get updated during training, and learns, in an unsupervised manner, only a projection matrix to perform the adaptation to the target categories. By building upon an existing structured representation learned in a supervised manner, the optimization problem solved by our method is much more constrained with significantly less parameters to learn which seems to be important for the case of unsupervised learning. We show that our method surpasses fully unsupervised techniques trained from scratch as well as a strong baseline based on fine-tuning, and produces state-of-the-art results on several datasets. Code can be found at https://github.com/ESanchezLozano/SAIC-Unsupervised-landmark-detection-NeurIPS2019 .

研究の動機と目的

• 非教師付きオブジェクトランドマーク検出の課題に取り組むこと。これは、曖昧さ、高レベルの意味的コンテンツ、視点の変化、変形性のため困難である。
• コストの高い手動アノテーションの必要性を減らすために、別のオブジェクトカテゴリで事前学習された教師ありランドマーク検出器からの知識を活用すること。
• 最小限のパラメータ更新で、適応を制約付き最適化問題として定式化することで、非教師付きランドマーク発見を改善すること。
• 軽量な適応モジュールを用いて、多様なオブジェクトカテゴリにわたる効率的かつスケーラブルなランドマーク発見を可能にすること。
• 精度と一貫性において、非教師学習から再開する方法および標準的な微調整ベースラインを上回ること。

提案手法

• 本手法は、固定されたコアネットワークとして事前学習済みの完全教師ありランドマーク検出器を用い、訓練中は更新されない。
• コアネットワークの特徴をターゲットオブジェクトカテゴリに適応させるために、僅かで学習可能な投影行列のみを非教師学習で訓練する。
• 同じオブジェクトの異なる視点や変換に対する一貫性誤差を最小化する制約付き最適化問題を用いて適応を実行する。
• ラベルなしの状況下での一般化を向上させるために、段階的学習の原則を活用して適応を安定化させる。
• 推論時においては、ヒートマップ予測を離散的なランドマーク座標に変換するために、softargmax層を用いる。
• ランドマークの安定性と局所化精度を測定するために、前方および後方の一貫性誤差を評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの教師ありランドマーク検出器を、完全に非教師的な方法で、未確認のオブジェクトカテゴリに効果的に適応できるか？
• RQ2 コアネットワークを固定したまま、僅かな投影行列のみを学習することで、学習から再開するか、微調整するのと比較して、より優れた性能が得られるか？
• RQ3 視点の変化にわたるランドマーク局所化精度と一貫性において、微調整などの強力なベースラインと比較して、本手法はどのように差をつけるか？
• RQ4 事前学習済みコアネットワークの品質および学習画像の数が、最終的な性能に与える影響は何か？
• RQ5 本手法は逆のタスク、例えば顔ランドマーク検出器を人体ランドマーク検出に適応できるか？

主な発見

• 提案手法は、MAFL、AFLW、LS3D、UT-Zappos50k、Cats Headなど複数のデータセットで最先端の性能を達成し、MAFLでは平均一貫性誤差2.14、Cats Headでは2.44を記録した。
• Cats Headデータセットでは、一貫性誤差を学習から再開の7.50から2.44に低下させ、微調整ベースラインの3.05を顕著に上回った。
• BBC-Poseデータセットでは、68点顔ランドマークネットワークをコアとして10点の身体ランドマークを検出する際、一貫性誤差2.52を達成し、優れた一般化性能を示した。
• MAFLデータセットでは、10エポックでの一貫性誤差15.09から110エポックでの2.52に低下させ、十分な訓練で強い収束を示した。
• 評価されたすべてのデータセットで、学習から再開および微調整の両方を上回り、ランドマークの安定性と局所化精度の両面で一貫した改善を達成した。
• 本手法は事前学習済みネットワークに約10%の追加パラメータを追加するのみで、多数のオブジェクトカテゴリへの効率的な適応が可能となった。