[논문 리뷰] 6D Rotation Representation For Unconstrained Head Pose Estimation

Thorsten Hempel, Ahmed A. Abdelrahman외 1명|arXiv (Cornell University)|2022. 02. 25.

Medical Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 6DRepNet를 제안하며, SO(3) 다양체 기하학을 고려한 지오데식 손실을 사용하여 전체 범위의 명확한 6D 회전 회귀를 가능하게 하는 랜드마크 기반의 헤드 포즈 추정 방법이다. 이는 AFLW2000 및 BIWI 데이터셋에서 기존 방법보다 최대 20% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present a method for unconstrained end-to-end head pose estimation. We address the problem of ambiguous rotation labels by introducing the rotation matrix formalism for our ground truth data and propose a continuous 6D rotation matrix representation for efficient and robust direct regression. This way, our method can learn the full rotation appearance which is contrary to previous approaches that restrict the pose prediction to a narrow-angle for satisfactory results. In addition, we propose a geodesic distance-based loss to penalize our network with respect to the SO(3) manifold geometry. Experiments on the public AFLW2000 and BIWI datasets demonstrate that our proposed method significantly outperforms other state-of-the-art methods by up to 20\%. We open-source our training and testing code along with our pre-trained models: https://github.com/thohemp/6DRepNet.

연구 동기 및 목표

• 헤드 포즈 추정에서 오일러 각도 및 쿼aternion 표현 방식의 모호성과 비연속성 문제를 해결하기 위해.
• 포즈 예측을 좁은 각도 범위로 제한하는 바인딩 기반 분류 방법의 한계를 극복하기 위해.
• 연속적이고 모호하지 않은 회전 행렬 표현 방식을 사용해 전체 6D 헤드 포즈를 엔드 투 엔드로 직접 회귀할 수 있도록 하기 위해.
• 지오데식 거리 기반 손실 함수를 통해 SO(3) 다양체 기하학을 활용하여 훈련의 안정성과 일반화 능력을 향상시키기 위해.
• 랜드마크 검출이나 각도 바인딩에 의존하지 않고 다양한 데이터셋에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 3×3 회전 행렬의 압축된 6D 형태를 사용하여 3D 회전을 표현하며, 정규화를 방지하기 위해 세 번째 열 벡터를 제거한다.
• 예측된 6D 벡터를 그람-슈미트 수직화를 통해 SO(3)로 매핑하여 유효한 회전 행렬을 재구성한다.
• SO(3)의 내재 리만 기하학을 반영하는 지오데식 거리 손실 함수를 사용하여 예측 오차를 페널티 처리함으로써 표준 MSE보다 더 강건한 성능을 확보한다.
• 딥 컨volution 네트워크 백본(예: RepVGG 또는 ResNet50)을 사용해 이미지 입력에서 직접 6D 표현을 회귀하도록 네트워크를 엔드 투 엔드로 훈련한다.
• 각도 바인딩에 대한 이산화를 제거하여 회전 공간의 이산화를 방지하고 전체 범위의 회귀를 가능하게 한다.
• 유일한 매개변수화를 통해 모호성을 제거하고 극단적인 헤드 포즈에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 이산화된 바인딩 또는 오일러/쿼aternion 표현 방식과 비교해 연속적인 6D 회전 표현 방식이 전체 범위의 헤드 포즈 추정에 개선을 이끌 수 있는가?
• RQ2 SO(3) 다양체 기하학을 고려한 지오데식 손실로 훈련하면 표준 MSE 손실에 비해 더 정확하고 강건한 포즈 회귀가 가능한가?
• RQ3 직접 6D 회전 표현을 회귀하는 방식이 제약 조건이 없는 환경에서 랜드마크 기반 또는 바인딩 기반 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 백본 네트워크의 선택이 제안된 6D 회전 회귀 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 극단적 또는 제약 없는 포즈에서도 성능 저하 없이 다양한 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 6DRepNet 방법은 지오데식 손실을 사용해 BIWI 데이터셋에서 평균 절대 오차(MAE) 2.66을 달성하였으며, 모든 이전 최신 기술 수준 방법을 초월한다.
• AFLW2000 데이터셋에서 지오데식 손실을 사용하면 MAE가 3.97로 감소하여 이전 최신 기술 수준 방법 대비 20% 향상되었다.
• 지오데식 손실로 훈련하면 ℓ₂ 손실 대비 略적으로 더 높은 성능을 보이며, 다양체 인식 최적화의 이점을 입증한다.
• RepVGG 백본은 AFLW2000에서 3.97 MAE, BIWI에서 2.66 MAE를 기록하여 모든 테스트 시나리오에서 ResNet50보다 약 7% 향상된 성능을 보였다.
• 야, 피치, 롤 각도 전반에 걸쳐 일관된 성능을 유지하여 전체 범위의 포즈 변형에 대한 강건성을 보였다.
• 제거 분석 결과 지오데식 손실이 고차원 회전 공간에서의 일반화 능력을 향상시키고 오차 누적을 줄이는 데 기여함을 확인하였다.