[논문 리뷰] PropagationNet: Propagate Points to Curve to Learn Structure Information

Xiehe Huang, Weihong Deng외 3명|arXiv (Cornell University)|2020. 06. 25.

Face recognition and analysis참고 문헌 38인용 수 5

한 줄 요약

이 논문은 얼굴 정렬을 향상시키기 위해 랜드마크 히트맵을 경계 히트맵으로 전파하여 구조 정보를 학습하는 새로운 얼굴 정렬 방법인 PropagationNet을 제안한다. Propagation 모듈, Focal Wing 손실, 그리고 안티앨리어징 CNN를 통합한 Multi-view Hourglass를 통해, WFLW에서 4.05%의 평균 오차, 300W full-set에서 2.93%, COFW에서 3.71%의 성능을 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Deep learning technique has dramatically boosted the performance of face alignment algorithms. However, due to large variability and lack of samples, the alignment problem in unconstrained situations, \emph{e.g}\onedot large head poses, exaggerated expression, and uneven illumination, is still largely unsolved. In this paper, we explore the instincts and reasons behind our two proposals, \emph{i.e}\onedot Propagation Module and Focal Wing Loss, to tackle the problem. Concretely, we present a novel structure-infused face alignment algorithm based on heatmap regression via propagating landmark heatmaps to boundary heatmaps, which provide structure information for further attention map generation. Moreover, we propose a Focal Wing Loss for mining and emphasizing the difficult samples under in-the-wild condition. In addition, we adopt methods like CoordConv and Anti-aliased CNN from other fields that address the shift-variance problem of CNN for face alignment. When implementing extensive experiments on different benchmarks, \emph{i.e}\onedot WFLW, 300W, and COFW, our method outperforms state-of-the-arts by a significant margin. Our proposed approach achieves 4.05\% mean error on WFLW, 2.93\% mean error on 300W full-set, and 3.71\% mean error on COFW.

연구 동기 및 목표

• 큰 머리 자세, 극단적인 표정, 불균형한 조명과 같은 제약 조건이 있는 상황에서의 얼굴 정렬 과제를 해결한다.
• 특히 가림되거나 왜곡된 경우에 정확한 랜드마크 예측을 방해하는, CNN이 얼굴의 구조 정보를 포착하는 데에 한계가 있다는 점을 극복한다.
• 극단적인 조건이 극히 적게 포함된 실외 데이터셋에서의 데이터 불균형 문제를 완화하여 모델 학습의 편향을 줄인다.
• 풀링 레이어로 인해 스택드 히알라스 네트워크에서 발생하는 이동 불변성 문제를 개선한다. 이는 특징 정렬 정확도를 떨어뜨린다.
• 정확한 구조 인식을 향상시키기 위해 랜드마크 정보를 경계 표현으로 효과적으로 전달하는 경량이며 엔드 투 엔드로 학습 가능한 모듈을 개발한다.

제안 방법

• 랜드마크 히트맵을 경계 히트맵으로 전파하여 얼굴의 구조를 학습할 수 있도록 하는 경량이며 미분 가능한 아키텍처인 Propagation 모듈을 도입한다.
• AWing에서 유도된 동적 손실 함수인 Focal Wing 손실을 설계하여 학습 중에 어려운 샘플의 가중치를 조정함으로써 극단적인 조건 하에서도 일반화 능력을 향상시킨다.
• 안티앨리어징 필터를 다운샘플링 연산 이전에 적용하여 공간 정밀도를 유지함으로써, 스택드 히알라스 네트워크의 이동 불변성을 감소시키기 위해 안티앨리어징 CNN을 다중 시점 히알라스 아키텍처에 통합한다.
• 좌표 정보를 특징 맵에 통합하여 특징 표현을 향상시키기 위해 CoordConv를 활용함으로써 정렬 정확도를 향상시킨다.
• 잔차 블록을 사용한 스택드 히알라스 백본을 사용하여 모델을 학습하고, 전파된 경계 히트맵에서 유도된 시그모이드 정규화된 주의 맵과 함께 히트맵 회귀를 수행한다.
• 데이터 증강 및 클래스 불균형 보정 전략을 적용하여 훈련 및 테스트 세트 간의 불균형한 데이터 분포의 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 랜드마크 히트맵을 경계 히트맵으로 전파하는 것이 딥 러닝 기반 얼굴 정렬 네트워크에서 얼굴의 구조 모델링을 향상시키는가?
• RQ2 Focal Wing 손실과 같은 동적 가중치 손실 함수는 실외 얼굴 정렬에서 드물고 학습하기 어려운 샘플에 대한 모델 성능에 어떤 영향을 미치는가?
• RQ3 안티앨리어징 CNN와 다중 시점 히알라스 모듈은 얼굴 정렬에서 이동 불변성 문제를 어느 정도 감소시키고 정렬 정확도를 향상시키는가?
• RQ4 경계 히트맵을 통한 구조 정보 통합이 가림, 블러, 비균일한 조명과 같은 극단적 조건 하에서도 강건성을 향상시키는가?
• RQ5 Propagation 모듈과 같은 경량이며 엔드 투 엔드로 학습 가능한 모듈이 정확도와 효율성 측면에서 더 큰 별도의 GAN 기반 경계 생성 네트워크를 능가할 수 있는가?

주요 결과

• Propagation 모듈은 WFLW에서 평균 오차를 7.14% 감소시켜 4.81%에서 4.48%로 개선하고, AUC를 5.63% 향상시켜 구조 정보를 포착하는 데의 효과를 입증한다.
• Focal Wing 손실은 AWing 기준선 대비 NME를 3.53% 감소시켜 4.81%에서 4.64%로 개선하였으며, FR 및 AUC도 향상되어 어려운 샘플을 더 잘 다루는 것으로 나타났다.
• 안티앨리어징 CNN를 통합한 다중 시점 히알라스는 기준선 대비 NME를 2.91% 감소시켜 4.81%에서 4.67%로 개선하여 공간 이동에 대한 강건성이 향상됨을 보여주었다.
• 전체 PropagationNet 모델은 WFLW에서 4.05%의 평균 오차, 300W full-set에서 2.93%, COFW에서 3.71%의 성능을 기록하여 모든 벤치마크에서 최신 기술 수준의 방법을 초월했다.
• 제거 실험 결과 각 구성 요소인 Propagation 모듈, Focal Wing 손실, 안티앨리어징 히알라스가 성능 향상에 독립적이고 뚜렷한 기여를 한다는 것이 확인되었다.
• 36.30M개의 파라미터와 42.83G의 FLOPS로 더 높은 복잡도를 지녔음에도 불구하고, PropagationNet은 뛰어난 정확도를 달성하여 복잡도가 성능 향상에 의해 정당화됨을 시사한다.