[論文レビュー] Test-Time Personalization with a Transformer for Human Pose Estimation

Yizhuo Li, Miao Hao+3 more|arXiv (Cornell University)|Jul 5, 2021

Human Pose and Action Recognition参考文献 71被引用数 11

ひとこと要約

本稿では、テスト時における自己教師ありキーポイント推定と教師ありキーポイント推定を統合し、Transformerを用いて両者の対応関係を学習することで、ラベルなしのテスト画像のみを用いて推論時に特定の人物にモデルをファインチューニングする、Test-Time Personalization (TTP) を提案する。自己教師ありと教師ありの両方のキーポイント推定タスクを同時に学習し、その結果をTransformerで統合することで、テスト時における自己教師ありの目的関数に基づくファインチューニングにより、Pose estimationの精度が向上し、Human 3.6M、Penn Action、BBC Poseの各データセットで顕著な性能向上を達成した。手動でのアノテーションやプライバシーを侵害するデータを一切不要としない。

ABSTRACT

We propose to personalize a human pose estimator given a set of test images of a person without using any manual annotations. While there is a significant advancement in human pose estimation, it is still very challenging for a model to generalize to different unknown environments and unseen persons. Instead of using a fixed model for every test case, we adapt our pose estimator during test time to exploit person-specific information. We first train our model on diverse data with both a supervised and a self-supervised pose estimation objectives jointly. We use a Transformer model to build a transformation between the self-supervised keypoints and the supervised keypoints. During test time, we personalize and adapt our model by fine-tuning with the self-supervised objective. The pose is then improved by transforming the updated self-supervised keypoints. We experiment with multiple datasets and show significant improvements on pose estimations with our self-supervised personalization.

研究の動機と目的

• 未観測の人物や分布外のテストケースに一般化する2次元人体ポーズ推定器の課題を、手動アノテーションなしで解決すること。
• 1人の人物のラベルなし画像のみを用いて、テスト時にパーソナライズを可能とし、プライバシーを守りながら高価なラベル付け作業を回避すること。
• 自己教師ありキーポイント推定と教師ありキーポイント推定のタスク間の相関関係を、学習可能な変換機構によって向上させること。
• 推論時に自己教師ありの目的関数に基づくファインチューニングによって、連続動画やモデル再学習を必要とせずにポーズ推定性能を向上させること。

提案手法

• モデルは、多様なデータを用いて事前学習され、教師ありキーポイント推定と、外見不変ヒートマップに基づく自己教師ありキーポイント再構成タスクの両方を用いる。
• 自己教師ありと教師ありのキーポイントヒートマップ間の対応関係と類似度を学習するため、Transformerを導入し、タスク間の相互改善を可能にする。
• テスト時、ターゲット人物のラベルなしフレームのみを用いて、自己教師ありヘッドのファインチューニングによりモデルをパーソナライズする。
• 改善された自己教師ありキーポイントが、学習済みのTransformerを介して変換され、より正確な教師ありキーポイント予測が得られる。
• 本手法は単一画像を処理でき、連続フレームを必要としないため、非連続な動画や写真シーケンスにも適用可能である。
• 性能評価は複数のデータセットでmPCKを用い、TransformerとTTPメカニズムの寄与を検証するためのアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありキーポイント推定を用いたテスト時適応は、人為的アノテーションなしでポーズ推定精度を向上させることができるか？
• RQ2 自己教師ありと教師ありキーポイントヘッド間の学習可能なTransformerベースの変換機構は、パーソナライズにどのように寄与するか？
• RQ3 推論時に利用可能なラベルなしテストフレームの数が増えるにつれて、本手法の性能は向上するか？
• RQ4 単一画像入力に制限された本手法は、動画ベースの最先端手法と比較してどのように性能を発揮するか？
• RQ5 本手法は、Savitzky–Golayフィルタリングのような時間的スムージング技術と相乗効果を上げるか？

主な発見

• Penn Actionデータセットでは、89.0 mPCKを達成し、ベースライン（85.2）から3.8ポイント向上し、オンラインおよびオフラインのTTP設定で顕著な向上を示した。
• BBC Poseデータセットでは、最高で93.1 mPCKを記録し、ベースライン（88.7）を上回り、一部の設定では最先端の動画ベース手法をも凌駕した。
• より多くのテストフレームが利用可能になるにつれて一貫した性能向上を示しており、推論時の利用可能なラベルなしデータ量に比例して性能が向上することが示された。
• 性能向上は時間的情報に起因するものではなく、非連続フレームに対しても有効であるため、時間的スムージング技術と相乗効果を示した。
• Transformerベースの変換機構により、自己教師あり特徴のファインチューニングが直接教師ありキーポイント予測の精度向上に寄与することを実証し、設計選択の妥当性を裏付けた。
• 本手法は一般化性能に優れ、Penn Actionから転移した場合にHuman 3.6Mで61.04 mPCKを達成し、データセット間でのロバストネスを示した。