[논문 리뷰] Aligning Silhouette Topology for Self-Adaptive 3D Human Pose Recovery

Mugalodi Rakesh, Jogendra Nath Kundu외 2명|arXiv (Cornell University)|2022. 04. 04.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 2D/3D 자세 또는 다중 시야 감독 없이도, 오직 전경 실루엣만을 사용하여 소스 학습 모델을 다양한 레이블이 없는 타겟 도메인에 자가-supervised 도메인 적응 프레임워크를 제안한다. 컨볼루션 우군 공간 변환을 통해 실루엣에서 위상적 스케лет론을 분리하고, 거리 필드를 이용한 카멘퍼 유사 위상 정렬 손실을 적용함으로써, 저해상도, 적대적 펄스, 실외 환경 등 도전적인 도메인에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 2D/3D 자세나 다중 시야 감독에 의존하지 않는다.

ABSTRACT

Articulation-centric 2D/3D pose supervision forms the core training objective in most existing 3D human pose estimation techniques. Except for synthetic source environments, acquiring such rich supervision for each real target domain at deployment is highly inconvenient. However, we realize that standard foreground silhouette estimation techniques (on static camera feeds) remain unaffected by domain-shifts. Motivated by this, we propose a novel target adaptation framework that relies only on silhouette supervision to adapt a source-trained model-based regressor. However, in the absence of any auxiliary cue (multi-view, depth, or 2D pose), an isolated silhouette loss fails to provide a reliable pose-specific gradient and requires to be employed in tandem with a topology-centric loss. To this end, we develop a series of convolution-friendly spatial transformations in order to disentangle a topological-skeleton representation from the raw silhouette. Such a design paves the way to devise a Chamfer-inspired spatial topological-alignment loss via distance field computation, while effectively avoiding any gradient hindering spatial-to-pointset mapping. Experimental results demonstrate our superiority against prior-arts in self-adapting a source trained model to diverse unlabeled target domains, such as a) in-the-wild datasets, b) low-resolution image domains, and c) adversarially perturbed image domains (via UAP).

연구 동기 및 목표

• 학습 데이터의 도메인 편향으로 인한 3D 인간 자세 추정의 일반화 부족 문제를 해결한다.
• 강력한 감독(예: 2D/3D 자세)이 제공되지 않는 새로운 레이블이 없는 타겟 환경에서 3D 자세 모델의 구현을 가능하게 한다.
• 조명, 해상도 또는 적대적 펄스와 같은 도메인 이동에 영향을 받지 않는 전경 실루엣 추정의 강건성을 유일한 감독 신호로 활용한다.
• 픽셀 수준의 손실의 한계를 극복하기 위해 실루엣에서 강력하고 자세 특화된 감독을 제공하는 위상 중심 손실을 개발한다.
• 타겟 도메인에서 2D/3D 자세 레이블, 깊이 또는 다중 시야 데이터가 필요 없이 최신 기술 수준의 적응 성능을 달성한다.

제안 방법

• 원시 이진 실루엣에서 위상적 스케일론 표현을 추출하기 위해 컨볼루션 우군 공간 변환을 설계한다.
• 최적화 중 기울기 흐름을 가능하게 하기 위해, 가분성 공간 연산을 사용해 실루엣에서 거리 필드를 구성한다.
• 거리 필드 최소화를 통해 예측된 위상적 스케일론과 진짜 위상적 스케일론 간의 대응을 측정하는 카멘퍼 유사 공간 위상 정렬 손실을 제안한다.
• 공간에서 점집합으로의 매핑을 제거함으로써 기울기 감쇠를 방지하고, 위상 표현을 통해 안정적인 역전파를 보장한다.
• 표면 형상과 자세를 동시에 최적화하기 위해, 표준 메쉬 피팅 목표함수와 위상 정렬 손실을 통합한다.
• 추론 시점의 적응을 가능하게 하기 위해, 타겟 도메인의 실루엣만을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 자가-supervised 적응 프레임워크가 다양한 레이블이 없는 타겟 도메인에서 실루엣 감독만으로 강력한 3D 인간 자세 복원 성능을 달성할 수 있는가?
• RQ2 픽셀 수준의 손실이 실패할 경우 실루엣에서 효과적으로 자세 특화 감독을 제공하기 위해 이진 실루엣에서 위상적 구조를 어떻게 추출할 수 있는가?
• RQ3 2D/3D 자세 감독이 없는 상황에서, 가분성 거리 필드 기반 위상 정렬 손실이 표준 픽셀 수준 또는 형상 중심 손실보다 우월한가?
• RQ4 실루엣 기반 적응이 저해상도, 적대적 펄스 또는 실외 조건과 같은 도메인 이동으로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ5 보조 감독(예: OpenPose로부터 추정한 2D 자세)이 도메인 이동로 인해 실패할 경우, 제안된 위상 인식 손실이 강건한 적응을 가능하게 하는가?

주요 결과

• 제안된 방법은 실외 환경 3DPW 데이터셋과 저해상도 LR-3DPW 도메인에서 최신 기술 수준 성능을 달성하며, 2D 자세 감독을 사용하는 기존 방법들을 능가한다.
• 적대적으로 훼손된 UAP-H3M 도메인에서는 OpenPose로 추정한 2D 자세를 사용하는 기존 방법들이 도메인 이동으로 인해 실패하는 데 비해, 제안된 방법이 뚜렷이 승리한다.
• 타겟 실루엣이 저해상도일 경우에도 효과적인 적응을 가능하게 하여, 이미지 품질 저하에 대한 강건성을 입증한다.
• 정성적 결과는 모델이 실루엣만으로도 3D 메쉬를 피팅할 수 있음을 보여주며, 열화상 또는 NIR 이미지와 같은 새로운 도메인에서도 빠른 추론 시점 적응을 가능하게 한다.
• 제거 실험을 통해 위상 인식 손실이 필수적임을 확인했으며, 픽셀 수준의 손실만으로는 자세 복원을 위한 신뢰할 수 있는 기울기를 제공하지 못한다.
• 2D 자세 검출기가 실패하는 상황에서도 이동 관절의 도메인 이동 효과를 성공적으로 완화함으로써, 분포 이동 상황에서 관절 기반 감독보다 위상 감독의 우수성을 입증한다.