[논문 리뷰] Hybrid coarse-fine classification for head pose estimation

Haofan Wang, Zhenghua Chen외 1명|arXiv (Cornell University)|2019. 01. 21.

Face recognition and analysis참고 문헌 20인용 수 11

한 줄 요약

이 논문은 깊이 신경망을 사용하여 얼굴 랜드마크 없이 헤드 포즈 추정을 위한 하이브리드 코arse-fine 분류 프레임워크를 제안한다. 엄격한 미세 분류가 코arse 박스에서 발생하는 양자화 오차를 줄이고, 통합된 회귀 모델이 정확도를 향상시킨다. BIWI 및 AFLW2000에서 최신 기술 수준의 성능을 달성하였으며, AFLW2000에서 평균 절대 오차(MAE)는 5.395°, BIWI에서 3.017°를 기록하였다.

ABSTRACT

Head pose estimation, which computes the intrinsic Euler angles (yaw, pitch, roll) from the human, is crucial for gaze estimation, face alignment, and 3D reconstruction. Traditional approaches heavily relies on the accuracy of facial landmarks. It limits their performances, especially when the visibility of the face is not in good condition. In this paper, to do the estimation without facial landmarks, we combine the coarse and fine regression output together for a deep network. Utilizing more quantization units for the angles, a fine classifier is trained with the help of other auxiliary coarse units. Integrating regression is adopted to get the final prediction. The proposed approach is evaluated on three challenging benchmarks. It achieves the state-of-the-art on AFLW2000, BIWI and performs favorably on AFLW. The code has been released on Github.

연구 동기 및 목표

• 시야가 불량한 조건에서 얼굴 랜드마크 검출이 실패할 경우 발생하는 랜드마크 기반 헤드 포즈 추정의 한계를 해결한다.
• 이전의 랜드마크 없는 방법에서 코어스 박스 분류로 인해 발생하는 양자화 오차를 극복한다.
• 계층적인 분류 체계를 도입하여 미세 분류 박스에 더 강한 제약 조건을 부여함으로써 회귀 정확도를 향상시킨다.
• 2D 얼굴 랜드마크에 의존하지 않고도 기준 데이터셋에서 최신 기술 수준의 성능를 달성하여 실제 환경에서의 강인성을 향상시킨다.

제안 방법

• 야, 피치, 롤 각도에 대해 코어스(198, 66, 18, 6, 2 클래스) 및 파인(198 클래스) 분류를 동시에 학습하는 하이브리드 코어스-파인 분류 프레임워크를 제안한다.
• 공유된 ResNet-50 백본을 통해 특징을 추출한 후, 각 각도에 대해 별도의 완전 연결 레이어 브랜치와 다수의 수준 분류 헤드를 적용한다.
• 회귀 손실(L1)과 분류 교차 엔트로피 손실을 조합한 다중 작업 손실을 적용하며, 코어스 및 파인 분류, 회귀 구성 요소 간의 균형을 위해 가변 가중치를 사용한다.
• 최종 예측을 위해 파인 분류 헤드와 회귀 헤드의 출력을 통합하여, 높은 해상도의 파인 분류 결과를 활용해 회귀 결과를 정밀하게 보정한다.
• 학습 시 Adam 최적화를 사용하며, 초기 학습률을 1e-6로 고정하고 ImageNet 정규화를 적용하며, ±99°를 초과하는 각도를 가진 이미지는 제거한다.
• 손실 가중치 계수(α, β₁, β₂, β₃, β₄, β₅)를 다양한 분류 및 회귀 구성 요소에 대해 튜닝하기 위해 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 단일 단계 분류 대비 하이브리드 코어스-파인 분류 프레임워크가 랜드마크 없는 헤드 포즈 추정에서 양자화 오차를 줄일 수 있는가?
• RQ2 미세 분류에 더 강한 제약 조건을 적용하면 회귀 기반 헤드 포즈 추정의 정확도가 향상되는가?
• RQ3 BIWI, AFLW2000, AFLW와 같은 표준 기준 데이터셋에서 제안된 방법이 최신 기술 수준의 랜드마크 기반 및 랜드마크 없는 접근 방식과 비교해 어떻게 성능를 내는가?
• RQ4 다중 작업 학습 체계에서 코어스 분류, 파인 분류, 회귀 간의 균형을 맞추기 위한 최적의 손실 가중치 설정은 무엇인가?
• RQ5 이러한 하이브리드 분류 프레임워크는 이산 양자화가 필요한 다른 회귀 과제로도 일반화 가능한가?

주요 결과

• 제안된 방법은 AFLW2000 데이터셋에서 평균 절대 오차(MAE) 5.395°를 기록하여, Ruiz 등 [1]의 6.155° MAE를 기록한 이전 최신 기술 수준의 방법을 초월한다.
• BIWI 데이터셋에서는 MAE 3.017°를 달성하여 기준 방법 [1]의 4.895°를 크게 뛰어넘고, CNN + 히트맵과 같은 랜드마크 기반 방법(3.23°)을도 초월한다.
• AFLW 데이터셋에서는 MAE 5.090°를 기록하여 최신 기술 수준의 랜드마크 없는 방법과 랜드마크 기반 방법과 비교해도 뛰어난 성능를 보여준다.
• 추론 분석 결과, 최적의 손실 가중치 설정은 α=2, β₁=7, β₂=5, β₃=3, β₄=1, β₅=1이며, 이는 AFLW2000에서 최저 MAE 5.3953을 달성한다.
• 제안된 방법은 제어된 환경(BIWI)과 실외 환경(AFLW2000) 모두에서 강인성을 입증하여 하이브리드 분류 설계의 효과성을 확인한다.
• 198개 클래스로 구성된 미세 분류 헤드가 더 넓은 박스보다 오차를 크게 줄여주며, 이는 분류 정밀도를 강화한 설계 선택의 타당성을 입증한다.