[論文レビュー] Source-free Domain Adaptive Human Pose Estimation

Qucheng Peng, Ce Zheng+1 more|arXiv (Cornell University)|Aug 6, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

本稿では、ソースデータにアクセスできない状況下で、合成データで学習したモデルを実世界データに適応させる、新しいタスクであるソースフリー領域適応人体ポーズ推定（SFDA-HPE）を提案する。本手法は、ソース知識を保持するためのソースプロテクトモジュールと、新しい空間確率空間とポーズ固有の対照的学習を用いたターゲット関連モジュールを備えた三モデルフレームワークを導入し、複数のベンチマークで最先端の性能を達成し、先行手法よりも最大5.6%の向上を実現した。

ABSTRACT

Human Pose Estimation (HPE) is widely used in various fields, including motion analysis, healthcare, and virtual reality. However, the great expenses of labeled real-world datasets present a significant challenge for HPE. To overcome this, one approach is to train HPE models on synthetic datasets and then perform domain adaptation (DA) on real-world data. Unfortunately, existing DA methods for HPE neglect data privacy and security by using both source and target data in the adaptation process. To this end, we propose a new task, named source-free domain adaptive HPE, which aims to address the challenges of cross-domain learning of HPE without access to source data during the adaptation process. We further propose a novel framework that consists of three models: source model, intermediate model, and target model, which explores the task from both source-protect and target-relevant perspectives. The source-protect module preserves source information more effectively while resisting noise, and the target-relevant module reduces the sparsity of spatial representations by building a novel spatial probability space, and pose-specific contrastive learning and information maximization are proposed on the basis of this space. Comprehensive experiments on several domain adaptive HPE benchmarks show that the proposed method outperforms existing approaches by a considerable margin. The codes are available at https://github.com/davidpengucf/SFDAHPE.

研究の動機と目的

• 合成データと実世界データの間のドメインシフトに、ソースデータにアクセスできない状況で対処すること。
• 人体キーポoin予測のスパarsityと空間的構造が分布整合を複雑にするため、従来のソースフリー領域適応手法の限界を克服すること。
• 厳格なデータプライバシー制約下で、ソース知識を保持しつつターゲットドメインの分布に適応するフレームワークを開発すること。
• 新規の損失関数と表現学習戦略を導入することで、クロスドメイン人体ポーズ推定ベンチマークにおける性能を向上させること。

提案手法

• フレームワークは、ソース、中間、ターゲットの三つのモデルから構成され、ソース保護とターゲット適応のための分離学習を可能にする。
• ソースプロテクトモジュールは、知識蒸留とパラメータ正則化により、ノイズと壊滅的忘却に抵抗することで、ソース知識を保持する。
• ターゲット関連モジュールは、キーポイント間の関係に基づいた新しい空間確率空間を構築し、スパarsityを低減し、表現学習を向上させる。
• 空間確率空間上でポーズ固有の対照的学習と情報最大化を適用し、特徴の識別性を向上させる。
• 三つの主要な損失関数を導入：特徴正則化のための残差損失（$\mathcal{L}_{res}$）、特徴整合のための対照的損失（$\mathcal{L}_{cst}$）、表現学習のための情報最大化損失（$\mathcal{L}_{im}$）。
• 訓練の安定化と一般化性能の向上を図るため、教師-生徒型の更新メカニズムを用いた段階的適応戦略を採用する。

Figure 1: Process of heatmap-based 2D HPE. The model includes two components: the feature extractor $G$ and the regressor $F$ . After feeding the input image to the model, we obtain $K$ output heatmaps corresponding to $K$ keypoints.

実験結果

リサーチクエスチョン

• RQ1 キーポイントのスパarsityと空間的構造が分布整合を複雑にする2次元人体ポーズ推定において、ソースフリー領域適応を効果的に適用できるか。
• RQ2 適応段階でソースデータに直接アクセスできない状況下で、ソース知識をどのように保持できるか。
• RQ3 人体ポーズ推定におけるスパースキーポイント分布を効果的にモデル化するためには、どのような新規空間表現が必要か。
• RQ4 対照的学習と情報最大化は、ソースフリー環境下で適応性能をどの程度向上させるか。

主な発見

• 提案手法は、SURREAL → LSPベンチマークで5.6%の向上を達成し、RHD → FreiHandでは3.3%の向上を示し、既存のソースフリー手法を上回った。
• ターゲット関連（TR）モジュールはSURREAL → LSPで5.6%の向上を寄与したのに対し、ソースプロテクト（SP）モジュールは同タスクで5.1%の向上をもたらした。
• アブレーションスタディの結果、対照的損失（$\mathcal{L}_{cst}$）が最大の寄与（SURREAL → LSPで1.7%）を示し、次に情報最大化（$\mathcal{L}_{im}$）が1.2%の寄与を示した。
• 三つの損失関数（$\mathcal{L}_{res}, \mathcal{L}_{cst}, \mathcal{L}_{im}$）を併用した完全モデルは、SURREAL → LSPで83.2%の平均正答率を達成し、ベースラインから2.9%の向上を実現した。
• 未観測ドメインへのドメイン一般化において、Human3.6Mで70.5%の平均正答率を達成し、2番目に優れた手法よりも2.6%の向上を示した。
• 本手法は未観測ドメインに対しても良好な汎化性能を示し、FreiHandでは先行ソースフリー手法よりも1.6%、Human3.6Mでは2.6%の向上を達成した。

Figure 2: Overall framework of our method. It includes three models, each with one feature extractor and one regressor. The adaptation contains two steps: Step A and Step B. Step A is applied for source-protect adaptation, while Step B aims at target-relevant adaptation. The solid arrows show the fo