[논문 리뷰] Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction

Shanyan Guan, Jingwei Xu외 3명|arXiv (Cornell University)|2021. 03. 30.

Human Pose and Action Recognition참고 문헌 61인용 수 4

한 줄 요약

이 논문은 이중 최적화를 통해 2D 자세 및 시간적 일관성 제약 조건을 동시에 최적화함으로써 도메인 외 스트리밍 영상에 대해 사전 훈련된 인간 메쉬 복원 모델을 온라인으로 적응시키는 새로운 방법인 Bilevel Online Adaptation(BOA)을 제안한다. BOA는 3D 모호성을 줄이고 개별 프레임에 대한 과적합을 방지함으로써 3DPW 및 MPI-INF-3DHP 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper considers a new problem of adapting a pre-trained model of human mesh reconstruction to out-of-domain streaming videos. However, most previous methods based on the parametric SMPL model \cite{loper2015smpl} underperform in new domains with unexpected, domain-specific attributes, such as camera parameters, lengths of bones, backgrounds, and occlusions. Our general idea is to dynamically fine-tune the source model on test video streams with additional temporal constraints, such that it can mitigate the domain gaps without over-fitting the 2D information of individual test frames. A subsequent challenge is how to avoid conflicts between the 2D and temporal constraints. We propose to tackle this problem using a new training algorithm named Bilevel Online Adaptation (BOA), which divides the optimization process of overall multi-objective into two steps of weight probe and weight update in a training iteration. We demonstrate that BOA leads to state-of-the-art results on two human mesh reconstruction benchmarks.

연구 동기 및 목표

• 카메라 파라미터, 뼈 길이, 배경, 가림 현상 등의 도메인 갭이 존재하는 도메인 외 스트리밍 영상 데이터에 대해 사전 훈련된 인간 메쉬 복원 모델을 적응시키는 데 도전하는 것.
• 온라인 적응 과정에서 2D 자세 재투영 손실과 3D 평가 지표(예: MPJPE) 간의 괴리 현상을 완화하는 것.
• 개별 프레임에 과적합되지 않으면서 스트리밍 영상 시퀀스에서 시간적 일관성을 유지하는 것.
• 온라인 모델 적응 과정에서 상충되는 목표—2D 자세 제약 조건과 시간적 매끄러움—간의 갈등을 해결하는 것.
• 3D 애너테이션에 접근할 수 없는 상태에서 소스 모델을 새로운 테스트 도메인에 효과적이고 실시간으로 적응시키는 것.

제안 방법

• BOA는 이중 최적화 프레임워크를 사용한다: 하위 수준 단계에서는 단일 프레임의 2D 자세 재투영 손실을 이용해 현재 프레임에 대한 모델 파라미터를 정밀 조정한다.
• 상위 수준 단계에서는 2차 도함수를 이용한 기울기를 사용해 모델 파라미터를 업데이트하며, 2D 및 시간적 제약 조건을 통합함으로써 프레임 간의 일관성을 확보한다.
• 시간적 제약 조건은 메쉬 시퀀스에 대한 매끄러움 정규화를 통해 구현되어 깊이 모호성을 줄이고 3D 복원 품질을 향상시킨다.
• 새로운 영상 프레임이 도착함에 따라 실시간으로 모델을 동적으로 적응시켜 도메인 이동에 저항력을 유지하며, 3D 레이블 데이터가 필요로 하지 않는다.
• 훈련을 안정화시키기 위해 테이처 모델을 사용하고, 각 반복에서 프로브 및 업데이트 단계를 번갈아 수행한다.
• 2개의 별도 수준으로 최적화를 분리함으로써 2D 및 시간적 목표 간의 갈등을 피하고 균형 잡힌 학습을 보장한다.

실험 결과

연구 질문

• RQ1 이중 최적화가 과적합을 방지하면서도 온라인 메쉬 복원에서 2D 자세 제약 조건과 시간적 매끄러움을 효과적으로 균형 잡을 수 있는가?
• RQ2 BOA는 도메인 외 환경에서 2D 관键점 손실과 3D MPJPE 평가 지표 간의 괴리를 어떻게 줄이는가?
• RQ3 종합적인 미세조정 또는 통합 손실 방법에 비해 BOA는 큰 도메인 갭이 존재하는 스트리밍 영상 데이터에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 상위 수준 최적화에서 2차 도함수를 사용함으로써 개별 프레임에 과적합되지 않으면서도 시간적 일관성을 유지할 수 있는가?
• RQ5 BOA는 추론 시 3D 애너테이션에 접근할 수 없더라도 3DPW 및 MPI-INF-3DHP와 같은 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• BOA는 3DPW 및 MPI-INF-3DHP 벤치마크에서 모두 최신 기술 수준의 성능을 달성하여 기존 방법보다 도메인 외 스트리밍 복원에서 뛰어난 성능을 보였다.
• 2D 관键점 손실과 3D MPJPE 간의 격차가 크게 줄었으며, 이는 화면 수준의 지도 학습과 3D 평가 간의 일관성이 향상되었음을 보여준다.
• 제거 분석 결과 BOA가 깊이 추정 불확실성으로 인한 3D 모호성을 효과적으로 완화함을 확인했으며, 특히 가림이나 복잡한 시나리오에서 뚜렷한 효과를 보였다.
• 이중 최적화를 통해 2D 손실에 과적합되지 않으면서도 정확한 단일 프레임 피팅을 위해 이를 효과적으로 활용함을 입증했다.
• 2D 자세 정확도가 떨어지지 않으면서도 시간적 일관성이 향상되었으며, 이는 그림 7의 상관 분석을 통해 입증되었다.
• 카메라 파라미터, 뼈 길이, 배경 복잡도 등의 다양성에 걸쳐도 BOA는 뛰어난 성능을 유지하였다.