[論文レビュー] Inference Stage Optimization for Cross-scenario 3D Human Pose Estimation

Jianfeng Zhang, Xuecheng Nie+1 more|arXiv (Cornell University)|Jul 4, 2020

Human Pose and Action Recognition参考文献 55被引用数 19

ひとこと要約

本論文は、推論段階でラベルなしのターゲットデータに対して幾何学的注意を払った自己教師あり学習（SSL）を実行することにより、クロスシーン設定における3D人体ポーズ推定の汎化性能を向上させる、新しいフレームワークであるInference Stage Optimization（ISO）を提案する。ランダム射影アドバーサリーと幾何的サイクル整合性を活用することで、予測の前にモデルをインスタンスごとに適応させる。この手法により、MPI-INF-3DHPで83.6%の3D PCKという最先端性能を達成し、従来手法比で9.7%の向上を達成した。

ABSTRACT

Existing 3D human pose estimation models suffer performance drop when applying to new scenarios with unseen poses due to their limited generalizability. In this work, we propose a novel framework, Inference Stage Optimization (ISO), for improving the generalizability of 3D pose models when source and target data come from different pose distributions. Our main insight is that the target data, even though not labeled, carry valuable priors about their underlying distribution. To exploit such information, the proposed ISO performs geometry-aware self-supervised learning (SSL) on each single target instance and updates the 3D pose model before making prediction. In this way, the model can mine distributional knowledge about the target scenario and quickly adapt to it with enhanced generalization performance. In addition, to handle sequential target data, we propose an online mode for implementing our ISO framework via streaming the SSL, which substantially enhances its effectiveness. We systematically analyze why and how our ISO framework works on diverse benchmarks under cross-scenario setup. Remarkably, it yields new state-of-the-art of 83.6% 3D PCK on MPI-INF-3DHP, improving upon the previous best result by 9.7%. Code will be released.

研究の動機と目的

• 新しいシナリオにおける未観測なポーズ分布に適応する際の3Dポーズ推定モデルの性能低下を是正すること。
• ターゲットドメインでラベル付きデータを必要とせずにモデルの汎化性能を向上させること。
• ラベルなしのターゲットインスタンスからの事前知識を用いて、推論時にモデルを適応化する手法を開発すること。
• オンライン版フレームワークを用いて、逐次的データに対する効果的な適応を可能にすること。
• 推論段階での適応がクロスシーン性能をどのように向上させるか、実験的およびアブレーションベースの理解を提供すること。

提案手法

• ISOフレームワークは、推論段階において各ラベルなしターゲットサンプルに対して自己教師あり学習（SSL）を実行し、モデルの予測を精緻化する。
• 幾何学的注意を払ったSSL技術2つ（ランダム射影アドバーサリーと幾何的サイクル整合性）を用いて、頑健な3Dポーズ表現を学習する。
• 完全教師あり学習（FSL）とSSLを併用してモデルを共同学習させることで、汎化性能を向上させるとともに、推論時適応を可能にする。
• オンラインISOバージョンは、逐次的ターゲットサンプルにわたってSSL更新をストリーム処理し、計算コストを低減しつつリアルタイム適応を実現する。
• バックプロパゲーションを用いて、幾何学的事前知識に基づき、各ターゲットインスタンスに対して反復的最適化を実行し、3Dポーズ推定値を精緻化する。
• 軽量な推論モード（Online-skip）は、10サンプルに1回のSSL処理に限定することで、ほぼリアルタイムの効率性（0.004秒/サンプル）を達成し、性能低下を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのターゲットデータに対する自己教師あり学習は、クロスシーン設定における3Dポーズ推定の汎化性能を向上させ得るか？
• RQ2 ランダム射影アドバーサリーと幾何的サイクル整合性といった幾何学的注意を払ったSSLコンponentsは、推論時適応をどのように向上させるか？
• RQ3 オンライン適応は逐次的データに与える影響は何か？バッチ推論と比較してどのように異なるか？
• RQ4 ノイズの多い2Dポーズ入力下でもISOはどのように動作するか？ベースラインモデルを上回る性能を示すか？
• RQ5 なぜISOは、ヘッド、手首、足首といった特定の身体部位において、困難なシナリオでも優れた性能を発揮するのか？

主な発見

• ISOはMPI-INF-3DHPベンチマークで83.6%の3D PCKという新たな最先端性能を達成し、前回の最高結果比で9.7%の向上を記録した。
• オンラインISOバージョンは、1サンプルあたり0.027秒で83.6%の3D PCKを達成し、効率的なリアルタイム推論を実現した。
• Online-skipバージョンは、1サンプルあたり0.004秒の推論時間にまで短縮され、標準推論とほぼ同等の速度を達成しながら、83.0%の3D PCKを維持した。
• ISOは、推定が難しい身体部位（ヘッド、手首、足首）においても顕著な性能向上を示し、分布シフトに強いことを示した。
• 極端なガウスノイズ（σ=10）下でも、ISOは79.6%の3D PCKを維持し、ベースライン（78.9%）を上回った。これは、真値2Dポーズが与えられた場合でも同様の結果を示した。
• 分布整合性解析により、ISOがターゲットセットにおける予測3Dポーズ分布を真値分布に効果的に一致させていることが確認された。