[論文レビュー] Semi-supervised Keypoint Localization

Olga Moskvyak, Frédéric Maire+2 more|arXiv (Cornell University)|Jan 20, 2021

Human Pose and Action Recognition参考文献 34被引用数 5

ひとこと要約

本論文は、少量のラベル付き画像と多数のラベルなし画像を用いて、キーポイント特徴マップとポーズ不変のセマンティックキーポイント表現を同時に学習する半教師ありキーポイント局所化手法を提案する。特徴マップに対して変換等変性を、表現に対して変換不変性を、異なる視点間で意味的整合性を保つことで、キーポイント検出の精度を顕著に向上させた。ATRWやLSPといった困難なデータセットにおいて、ラベル付きデータをたった10%に減らしても、完全教師ありモデルと同等の性能を達成した。

ABSTRACT

Knowledge about the locations of keypoints of an object in an image can assist in fine-grained classification and identification tasks, particularly for the case of objects that exhibit large variations in poses that greatly influence their visual appearance, such as wild animals. However, supervised training of a keypoint detection network requires annotating a large image dataset for each animal species, which is a labor-intensive task. To reduce the need for labeled data, we propose to learn simultaneously keypoint heatmaps and pose invariant keypoint representations in a semi-supervised manner using a small set of labeled images along with a larger set of unlabeled images. Keypoint representations are learnt with a semantic keypoint consistency constraint that forces the keypoint detection network to learn similar features for the same keypoint across the dataset. Pose invariance is achieved by making keypoint representations for the image and its augmented copies closer together in feature space. Our semi-supervised approach significantly outperforms previous methods on several benchmarks for human and animal body landmark localization.

研究の動機と目的

• 高いポーズ可変性を示す野生動物に特化したキーポイント局所化において、ラベル付きデータの不足という課題に対処すること。
• 専門家によるラベル付けが高価で希少な実世界のシナリオにおいて、キーポイント検出の手作業ラベル付け作業の負担を軽減すること。
• ラベル付きデータとラベルなしデータを効果的に活用して、キーポイント検出の性能を向上させる手法を開発すること。
• ポーズ不変のキーポイント表現を学習することで、ポーズ変動に対する頑健性を確保すること。
• 人間や動物のボディランドマーク検出を含む、異なる種やドメイン間での転送性を可能にすること。

提案手法

• 教師ありおよび教師なし損失を用いて、キーポイント検出ネットワークを、特徴マップとセマンティックキーポイント表現の両方を同時に学習する。
• データオーグメンテーションに対して特徴マップが一貫性を持つように、変換等変性損失（TE）を適用する。
• 画像とそのオーグメント済みバージョンのキーポイント表現を特徴空間で一致させるように、変換不変性損失（TI）を強制する。
• 同じキーポイントが異なるポーズで撮影された画像間で類似した特徴をもたらすように、意味的整合性損失（SC）を導入する。
• 訓練中に信頼できる監視信号を提供するため、教師あり損失において真値の特徴マップを用いる。
• 教師あり特徴マップ損失と3つの教師なし制約を組み合わせてモデルを最適化し、学習可能な重み係数を用いる。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習は、キーポイント局所化タスクにおいて、ラベル付きキーポイントアノテーションの必要性を顕著に低減できるか？
• RQ2 変換等変性および不変性制約は、高いポーズ可変性下でもキーポイント検出性能をどのように向上させるか？
• RQ3 異なるポーズで撮影された画像間での意味的整合性は、同じキーポイントの特徴学習をどの程度向上させるか？
• RQ4 教師あり損失に真値の特徴マップを含めることで、モデル性能にどのような影響を与えるか？
• RQ5 ラベルなしデータの量を変化させた場合、半教師ありキーポイント局所化モデルの一般化性能にどのような影響を与えるか？

主な発見

• ATRWタイガーデータセットにおいて、ラベル付きデータをたった10%に減らしても、完全教師ありモデルと同等の性能を達成した。
• LSP人間ポーズデータセットでは、ラベル付きデータを50%に減らしても、ほぼ教師あり性能に達した。
• 意味的整合性損失（SC）が最も重要な要因であり、5%のラベル付きデータ条件下で除去すると、性能が66%から46%に低下した。
• 人間および動物のキーポイント局所化の複数のベンチマークで、従来の教師ありおよび教師なし手法を上回った。
• アブレーションスタディにより、TE、TI、SC損失の組み合わせが、個々の損失よりも優れた結果をもたらすことが確認された。
• 損失重みのハイパーパramータ変動に対してもモデルは頑健であり、最適な性能はλ₂=0.5、λ₃=10²、λ₄=10²の設定で達成された。