[논문 리뷰] Source-free Domain Adaptive Human Pose Estimation

Qucheng Peng, Ce Zheng외 1명|arXiv (Cornell University)|2023. 08. 06.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없음에도 불구하고 합성 데이터로 훈련된 모델을 실제 세계 데이터에 적응시키는 새로운 과제인 소스프리 도메인 적응 휴먼 퍼스 옵티메이션(SFDA-HPE)을 제안한다. 이 방법은 원천 지식을 보존하는 원천 보호 모듈과 새로운 공간 확률 공간 및 퍼스 특화 대비 학습을 활용한 대상 관련 모듈을 포함하는 삼중 모델 프레임워크를 도입하여, 여러 벤치마크에서 기존 방법 대비 최대 5.6% 향상된 최신 기술 성능을 달성한다.

ABSTRACT

Human Pose Estimation (HPE) is widely used in various fields, including motion analysis, healthcare, and virtual reality. However, the great expenses of labeled real-world datasets present a significant challenge for HPE. To overcome this, one approach is to train HPE models on synthetic datasets and then perform domain adaptation (DA) on real-world data. Unfortunately, existing DA methods for HPE neglect data privacy and security by using both source and target data in the adaptation process. To this end, we propose a new task, named source-free domain adaptive HPE, which aims to address the challenges of cross-domain learning of HPE without access to source data during the adaptation process. We further propose a novel framework that consists of three models: source model, intermediate model, and target model, which explores the task from both source-protect and target-relevant perspectives. The source-protect module preserves source information more effectively while resisting noise, and the target-relevant module reduces the sparsity of spatial representations by building a novel spatial probability space, and pose-specific contrastive learning and information maximization are proposed on the basis of this space. Comprehensive experiments on several domain adaptive HPE benchmarks show that the proposed method outperforms existing approaches by a considerable margin. The codes are available at https://github.com/davidpengucf/SFDAHPE.

연구 동기 및 목표

• 합성 데이터와 실제 세계 데이터 간의 도메인 차이 문제를 원천 데이터에 접근하지 못하는 조건에서 해결하기 위해.
• 기존의 소스프리 도메인 적응 방법이 인간 관절 예측의 희박성과 공간적 구조를 다루는 데에 한계를 가진다는 점을 극복하기 위해.
• 엄격한 데이터 프라이버시 제약 조건 하에서 원천 지식을 보존하면서도 대상 도메인 분포에 적응하는 프레임워크를 개발하기 위해.
• 새로운 손실 함수와 표현 학습 전략을 도입하여 교차 도메인 휴먼 퍼스 옵티메이션 벤치마크에서 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 원천, 중간, 대상의 세 모델으로 구성되어 원천 보호와 대상 적응을 위한 분리된 학습을 가능하게 한다.
• 지식 정렬과 매개변수 정규화를 통해 노이즈와 치명적인 잊힘에 저항함으로써 원천 보호 모듈이 원천 지식을 보존한다.
• 관절 간 관계 기반으로 새로운 공간 확률 공간을 구성함으로써 희박성을 줄이고 표현 학습을 향상시킨다.
• 공간 확률 공간에 퍼스 특화 대비 학습과 정보 최대화를 적용하여 특징의 구분 능력을 향상시킨다.
• 세 가지 핵심 손실 함수를 도입한다: 특징 정규화를 위한 잔차 손실($\mathcal{L}_{res}$), 특징 정렬을 위한 대비 손실($\mathcal{L}_{cst}$), 표현 학습을 위한 정보 최대화 손실($\mathcal{L}_{im}$).
• 학습 안정성 향상과 일반화 성능 향상을 위해 교사-학생 유사 업데이트 메커니즘을 활용한 점진적 적응 전략을 사용한다.

Figure 1: Process of heatmap-based 2D HPE. The model includes two components: the feature extractor $G$ and the regressor $F$ . After feeding the input image to the model, we obtain $K$ output heatmaps corresponding to $K$ keypoints.

실험 결과

연구 질문

• RQ1 관절 희박성과 공간적 구조로 인해 분포 정렬이 복잡한 2D 휴먼 퍼스 옵티메이션에 소스프리 도메인 적응을 효과적으로 적용할 수 있는가?
• RQ2 적응 과정에서 원천 데이터에 직접 접근할 수 없을 때 원천 지식은 어떻게 보존할 수 있는가?
• RQ3 휴먼 퍼스 옵티메이션에서 희박한 관절 예측 분포를 효과적으로 모델링하기 위해 어떤 새로운 공간 표현이 필요한가?
• RQ4 대비 학습과 정보 최대화가 소스프리 환경에서 적응에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 SURREAL → LSP 벤치마크에서 5.6% 향상되고 RHD → FreiHand에서는 3.3% 향상되어 기존의 소스프리 방법을 능가한다.
• 대상 관련(TR) 모듈은 SURREAL → LSP에서 5.6% 향상을 기여하며, 원천 보호(SP) 모듈은 동일한 작업에서 5.1% 향상을 기록한다.
• 절단 실험 결과, 대비 손실($\mathcal{L}_{cst}$)이 가장 큰 기여를 하였으며(SURREAL → LSP에서 1.7% 향상), 이어 정보 최대화($\mathcal{L}_{im}$)가 1.2% 기여하였다.
• 모든 세 손실($\mathcal{L}_{res}, \mathcal{L}_{cst}, \mathcal{L}_{im}$)을 포함한 전체 모델은 SURREAL → LSP에서 평균 정확도 83.2%를 달성하여 베이스라인 대비 2.9% 향상되었다.
• 미사용 도메인으로의 도메인 일반화에 있어서, Human3.6M에서 평균 정확도 70.5%를 기록하여 두 번째로 우수한 방법보다 2.6% 향상되었다.
• 모델은 미사용 도메인으로도 잘 일반화되며, FreiHand에서는 기존 소스프리 방법보다 1.6% 높고, Human3.6M에서는 2.6% 높은 성능을 기록했다.

Figure 2: Overall framework of our method. It includes three models, each with one feature extractor and one regressor. The adaptation contains two steps: Step A and Step B. Step A is applied for source-protect adaptation, while Step B aims at target-relevant adaptation. The solid arrows show the fo