[논문 리뷰] ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation

Jihua Huang, Amir Tamrakar|arXiv (Cornell University)|2020. 12. 02.

Face recognition and analysis참고 문헌 48인용 수 4

한 줄 요약

ACE-Net는 기존의 희박한 랜드마크 대신 세밀한 얼굴 앵커와 윤곽을 예측하는 딥러닝 프레임워크이다. 약한 지도 학습 손실을 통해 기존의 랜드마크 데이터셋과 합성 데이터를 활용하여 애너테이션 격차를 메운다. 이는 랜드마크 보간 방법보다 뛰어난 윤곽 정확도를 달성하며, HELEN 데이터셋에서 완전히 지도 학습된 모델조차도 36개 또는 68개의 랜드마크로만 훈련된 경우에 비해 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel facial Anchors and Contours Estimation framework, ACE-Net, for fine-level face alignment tasks. ACE-Net predicts facial anchors and contours that are richer than traditional facial landmarks while overcoming ambiguities and inconsistencies in their definitions. We introduce a weakly supervised loss enabling ACE-Net to learn from existing facial landmarks datasets without the need for reannotation. Instead, synthetic data, from which GT contours can be easily obtained, is used during training to bridge the density gap between landmarks and true facial contours. We evaluate the face alignment accuracy of ACE-Net with respect to the HELEN dataset which has 194 annotated facial landmarks, while it is trained with only 68 or 36 landmarks from the 300-W dataset. We show that ACE-Net generated contours are better than contours interpolated straight from the 68 GT landmarks and ACE-Net also outperforms models trained only with full supervision from GT landmarks-based contours.

연구 동기 및 목표

• 세밀한 얼굴 정렬에서 희박하고 일관성 없으며 모호한 얼굴 랜드마크 표현 방식의 한계를 해결하기 위해.
• 손으로 그린 얼굴 윤곽의 고비용 애너테이션 필요성을 제거하기 위해 기존 랜드마크 데이터셋과 합성 데이터로부터 약한 지도 학습을 활용하기 위해.
• 메쉬 피팅과 같은 후속 작업을 위한 더 높은 조밀성과 정확도를 갖춘 얼굴 구조 제약 조건을 제공하는 통합 표현인 '앵커와 윤곽(AC)'을 개발하기 위해.
• 훈련 애너테이션 밀도가 낮은 영역에서도 고정밀 윤곽 추정이 가능하게 하여, 저애너테이션 밀도 영역에서의 강인성을 향상시키기 위해.
• HELEN과 같이 조밀하게 애너테이션된 데이터셋을 사용하여 AC 표현에 대한 새로운 평가 기준을 설정하기 위해.

제안 방법

• ACE-Net는 두 모듈 아키텍처를 사용한다: 앵커와 윤곽에 대한 히트맵을 회귀하는 AC 예측 모듈과 이 히트맵을 서브픽셀 정확도로 정밀화하는 AC 추출 모듈.
• 기존 얼굴 랜드마크를 통과하도록 예측된 윤곽을 강제하는 새로운 '윤곽성 손실'을 도입하여 재애너테이션 없이도 약한 지도 학습을 가능하게 한다.
• 합성 데이터를 사용하여 진짜 윤곽이 포함된 데이터를 제공함으로써, 희박한 랜드마크와 조밀한 윤곽 사이의 밀도 격차를 메운다.
• 윤곽성 손실은 회전 가능한 필터에서 유도되며, 컨볼루션을 통해 윤곽 신뢰도를 효율적으로 계산할 수 있도록 하며, 윤곽 방향과 법선 맵에 대해 닫힌 형태의 해를 제공한다.
• 중간 지도 신호를 저해상도 특징 맵에 선분 윤곽을 가짜 진짜값으로 적용하여 훈련 안정성을 향상시킨다.
• 이 프레임워크는 아키텍처에 종속되지 않으며, 다양한 백본 네트워크(중간 지도 학습이 가능한 것 포함)와 통합 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 희박한 랜드마크에서의 보간보다 더 정확한 조밀한 얼굴 윤곽을 예측할 수 있는가?
• RQ2 기존의 랜드마크 데이터셋에서의 약한 지도 학습이 재애너테이션 없이도 정확한 윤곽 예측을 위한 효과적인가?
• RQ3 진짜 윤곽이 포함된 합성 데이터를 통합함으로써 도메인 격차가 존재하더라도 랜드마크 사이의 영역에서 윤곽 정렬이 향상되는가?
• RQ4 제안된 AC 표현이 세밀한 얼굴 정렬 작업에서 표준 랜드마크 기반 정렬보다 뛰어나게 성능을 발휘하는가?
• RQ5 윤곽성 손실이 다양한 데이터셋에서 알려진 랜드마크 위치와 예측된 윤곽을 효과적으로 정렬하는 데 효과적인가?

주요 결과

• ACE-Net는 HELEN 데이터셋에서 68개 랜드마크에서의 윤곽 보간보다 뛰어난 성능을 보이며, 학습된 윤곽이 선형 또는 스퍼플린 기반 보간보다 더 정확하다는 것을 입증한다.
• 단지 36개의 랜드마크로만 훈련된 경우에도 ACE-Net는 경쟁 가능한 성능을 달성하여, 희박한 랜드마크에서의 약한 지도 학습이 고품질 윤곽 예측에 충분하다는 것을 보여준다.
• 합성 데이터와 약한 지도 학습을 사용한 모델이 랜드마크에서 유도된 윤곽에 대한 전면 지도 학습만으로 훈련된 모델보다 뛰어나며, 이는 애너테이션 밀도 격차를 메우는 데 합성 데이터의 유용성을 입증한다.
• ACE-Net는 진짜 얼굴 기하학과 더 잘 일치하는 서브픽셀 정확도의 윤곽을 생성하며, 이는 HELEN 데이터셋의 조밀한 애너테이션과의 비교를 통해 검증되었다.
• 윤곽성 손실은 효과적인 약한 지도 학습을 가능하게 하여, 재애너테이션 없이도 다양한 랜드마크 정의와 데이터셋 간에 일반화할 수 있도록 한다.
• 정성적 결과는 ACE-Net이 특히 코와 입 부위와 같은 도전적인 영역에서 더 매끄럽고 해부학적으로 타당한 윤곽을 생성한다는 것을 보여준다.