[論文レビュー] Pose Embeddings: A Deep Architecture for Learning to Match Human Poses

Greg Mori, Caroline Pantofaru+5 more|arXiv (Cornell University)|Jul 1, 2015

Human Pose and Action Recognition参考文献 34被引用数 24

ひとこと要約

この論文では、関節キーポイント推定を必要とせずに、直接人体ポーズを比較できるように学習する深層学習フレームワークを提案する。三つ組み損失を用いて、類似ポーズが埋め込み空間内で近づくようにモデルを学習し、弱教師付きの三つ組みアノテーションのみで、ポーズ検索タスクにおいて競争力ある性能を達成した。これは汎用的画像特徴よりも優れており、ポーズ推定モデルと補完的であることも示された。

ABSTRACT

We present a method for learning an embedding that places images of humans in similar poses nearby. This embedding can be used as a direct method of comparing images based on human pose, avoiding potential challenges of estimating body joint positions. Pose embedding learning is formulated under a triplet-based distance criterion. A deep architecture is used to allow learning of a representation capable of making distinctions between different poses. Experiments on human pose matching and retrieval from video data demonstrate the potential of the method.

研究の動機と目的

• 明示的な人間キーポイント推定に依存せずに、人体ポーズを直接比較する手法を開発すること。
• 類似ポーズの画像が埋め込み空間内で近づくように、深層埋め込み空間を学習すること。
• 詳細なキーポイントアノテーションにかかるコストを減らすために、類似／非類似の三つ組み比較アノテーションのみを用いること。
• 動画内でのポーズベースの画像検索およびグループ行動解析を効率的に行えるようにすること。
• 学習された埋め込み表現が、動画検索やクラスタリングといった下流タスクへも適用可能であることを示すこと。

提案手法

• 三つ組み損失を用いて、畳み込みニューラルネットワークを訓練し、類似ポーズが近づくようなメトリクス空間に画像を埋め込む。
• 各訓練用三つ組みは、アーキテクチャ画像、ポジティブ画像（類似ポーズ）、ネガティブ画像（非類似ポーズ）から構成される。
• 三つ組み損失は、アーキテクチャとポジティブ間の距離を最小化し、ネガティブとの距離を最大化することで、相対的なポーズ類似性を強制する。
• 特徴抽出には、ImageNetで事前学習された修正版Inceptionアーキテクチャが用いられる。
• ポーズ類似度は埋め込み空間内のL2距離によって計算され、高速な検索が可能になる。
• 距離統合を用いて、ポーズ推定モデルと組み合わせることで性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 キーポイントの教師信号なしに、弱教師付きの三つ組みアノテーションのみで、深層埋め込みネットワークが直接人体ポーズを照合できるか？
• RQ2 ポーズ検索タスクにおいて、本手法の性能は、最先端のポーズ推定手法および汎用的画像特徴ベースラインと比べてどうか？
• RQ3 学習された埋め込み表現が、動画検索やグループ行動クラスタリングといった下流タスクへどの程度一般化可能か？
• RQ4 埋め込みベースのアプローチの失敗モードは何か。キーポイントベース手法と比較するとどうか？
• RQ5 ポーズ埋め込み表現を、ポーズ推定の出力と効果的に統合することで、検索精度を向上させられるか？

主な発見

• 提案手法は、コンテンツ類似度を重視する傾向がある汎用的ImageNet特徴よりも、ポーズ検索タスクで優れた性能を示した。
• 定量的評価では、完全なキーポイント回帰モデル（Deep Pose）とほぼ同等の結果を達成したが、アノテーションは三つ組みのみで、コストが大幅に削減された。
• 定性的な結果から、埋め込み表現は妥当なポーズマッチングを生成しているが、前後反転の誤りが一般的な失敗ケースであることが明らかになった。
• 学習された埋め込み表現はキーポイントベース手法と補完的である。両者を統合することで、単体での性能を上回る検索性能が得られた。
• モデルは動画検索やグループ行動クラスタリングへも良好に一般化され、学習済み表現の転送可能性が示された。
• 詳細なキーポイントラベルの必要性を回避することで、アノテーションコストを顕著に削減した。