[論文レビュー] CoKe: Localized Contrastive Learning for Robust Keypoint Detection

Yutong Bai, Angtian Wang+2 more|arXiv (Cornell University)|Sep 29, 2020

Human Pose and Action Recognition参考文献 51被引用数 8

ひとこと要約

CoKeは、キーポイントバンク、クラッター・バンク、累積移動平均の更新を用いてキーポイント特徴を独立してモデル化することで、頑健なキーポイント検出のための対照的学習フレームワークを導入した。PASCAL3D+、MPII、ObjectNet3Dといった多様なデータセットにおいて、最先端の性能と、遮蔽および未知のポーズに対して優れた頑健性を達成した。

ABSTRACT

In this paper, we introduce a contrastive learning framework for keypoint detection (CoKe). Keypoint detection differs from other visual tasks where contrastive learning has been applied because the input is a set of images in which multiple keypoints are annotated. This requires the contrastive learning to be extended such that the keypoints are represented and detected independently, which enables the contrastive loss to make the keypoint features different from each other and from the background. Our approach has two benefits: It enables us to exploit contrastive learning for keypoint detection, and by detecting each keypoint independently the detection becomes more robust to occlusion compared to holistic methods, such as stacked hourglass networks, which attempt to detect all keypoints jointly. Our CoKe framework introduces several technical innovations. In particular, we introduce: (i) A clutter bank to represent non-keypoint features; (ii) a keypoint bank that stores prototypical representations of keypoints to approximate the contrastive loss between keypoints; and (iii) a cumulative moving average update to learn the keypoint prototypes while training the feature extractor. Our experiments on a range of diverse datasets (PASCAL3D+, MPII, ObjectNet3D) show that our approach works as well, or better than, alternative methods for keypoint detection, even for human keypoints, for which the literature is vast. Moreover, we observe that CoKe is exceptionally robust to partial occlusion and previously unseen object poses.

研究の動機と目的

• 1枚の画像に複数のアノテート済みキーポイントが存在するという点で、標準の対照的学習タスクとは異なるキーポイント検出に、対照的学習を適用する課題に対処すること。
• すべてのキーポイント特徴間のペairwise対照的損失の計算が計算的に非現実的であるという問題を、代表的表現（プロトタイプ表現）の導入によって克服すること。
• 背景のクラッターを明示的にモデル化し、キーポイント特徴と区別することで、遮蔽および未知のオブジェクトポーズに対する頑健性を向上させること。
• 新しいメモリバンクと適応的特徴更新メカニズムを用いて、効率的かつスケーラブルなキーポイント検出のための対照的学習を可能にすること。

提案手法

• キーポイントタイプごとのプロトタイプ表現を格納するキーポイントバンクを導入し、キーポイント特徴の内部クラスタリングを効率的に計算可能にする。
• 空間的に近接する背景特徴を格納することで、非キーポイント特徴をモデル化するクラッター・バンクを開発する。これにより、誤検出が低減される。
• トレーニング中にキーポイントプロトタイプを動的に維持するため、累積移動平均更新を用いる。これにより、安定的かつ適応的な特徴学習が実現される。
• クラッター特徴とキーポイントプロトタイプとの距離を明示的に正則化するため、クラッター・サンプリング損失を実装する。これにより、特徴の区別能が向上する。
• 同じキーポイントクラスタの特徴が密に集まる一方で、異なるキーポイントおよびクラッターの特徴は引き離されるように、キーポイント検出を対照的学習問題として定式化する。
• 特徴品質および検出精度の向上を図るため、トレーニング中に対照的目的関数と標準の分類または回帰損失を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像に複数の明確に異なるキーポイントが存在するという独自の課題を踏まえ、対照的学習がキーポイント検出に効果的に適応可能か？
• RQ2 すべてのキーポイント特徴間のペアワイズ対照的損失の計算コストを、性能を損なわずに低減する方法は何か？
• RQ3 背景のクラッターを明示的にモデル化することで、キーポイント検出の遮蔽耐性にどのような影響を与えるか？
• RQ4 累積移動平均による動的プロトタイプ更新の使用が、キーポイント特徴学習の安定性および正確性に与える影響は何か？
• RQ5 ホリスティック検出手法と比較して、CoKeは部分的遮蔽および未知のオブジェクトポーズに対してどの程度頑健性が向上するか？

主な発見

• CoKeはPASCAL3D+、MPII、ObjectNet3Dで最先端の性能を達成し、スタックド・アワークラスネットワークやMSS-Netを上回った。特に困難なケースにおいて顕著な優位性を示した。
• Res-UNetバックボーンを用いたPASCAL3D+では、レベル0の遮蔽条件下で95.5%の精度を達成。クラッター・バンクを搭載しないベースライン（94.2%）および平均近似法（88.7%）を大きく上回った。
• 1024グループのクラッター・バンクを用いることで、レベル0の遮蔽条件下で95.5%の精度を達成。これは、より大きなバンクが性能向上に寄与し、特に低遮蔽状況で顕著であることを示している。
• クラッター・サンプリング損失は不可欠である：無効化すると、レベル0の遮蔽条件下で95.5%から94.2%に性能が低下し、特徴の区別能向上に果たす役割が明確になった。
• 累積移動平均更新は、周期的平均化（例：94.2% vs. 88.7%）を上回る性能を示し、安定したキーポイントプロトタイプの維持において優位性を証明した。
• CoKeは部分的遮蔽および未知のオブジェクトポーズに対して顕著な頑健性を示し、全遮蔽レベルにおいて、ベースライン手法と比較して性能低下が著しく遅い。