[논문 리뷰] Learning deep representation from coarse to fine for face alignment

Zhiwen Shao, Shouhong Ding외 3명|ArXiv.org|2016. 07. 31.

Face recognition and analysis참고 문헌 16인용 수 12

한 줄 요약

이 논문은 얼굴 정렬을 위한 딥 컨volution 네트워크에 대해 군집에서 세분으로의 훈련 전략을 제안하며, 지표를 주요(예: 눈, 코, 입) 및 세부적인 부분으로 나눈다. 주요 지표에서 세부 지표로 훈련 초점을 점차 이동시킴으로써 최적화가 더 부드럽게 되고, 정확도가 향상되어 COFW 데이터셋에서 이전 최고 성능 기법 대비 평균 오차가 21.37% 감소한다.

ABSTRACT

In this paper, we propose a novel face alignment method that trains deep convolutional network from coarse to fine. It divides given landmarks into principal subset and elaborate subset. We firstly keep a large weight for principal subset to make our network primarily predict their locations while slightly take elaborate subset into account. Next the weight of principal subset is gradually decreased until two subsets have equivalent weights. This process contributes to learn a good initial model and search the optimal model smoothly to avoid missing fairly good intermediate models in subsequent procedures. On the challenging COFW dataset [1], our method achieves 6.33% mean error with a reduction of 21.37% compared with the best previous result [2].

연구 동기 및 목표

• 심한 가림과 자세 변화가 있는 상황에서도 강건한 얼굴 지표 검출 문제를 해결한다.
• 최적화 과정에서 양호한 중간 모델을 놓칠 수 있는 직접적인 엔드 투 엔드 훈련의 한계를 극복한다.
• 초기에는 주요 얼굴 지표를 우선시하는 방식으로 훈련을 구성함으로써 모델의 일반화 능력과 수렴 성능을 향상시킨다.
• 사전 훈련이나 보조 속성 레이블링에 의존하지 않고 최적의 모델을 부드럽게 탐색할 수 있도록 한다.
• 특히 가림과 같은 도전적인 조건에서 벤치마크 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 얼굴 지표를 주요 부분(12개의 핵심 포인트: 눈썹/눈 모서리, 코 끝, 입 모서리, 턱 끝)과 세부 부분으로 나눈다.
• 주요 부분의 손실에 대해 초기에 높은 가중치(λ ≈ 1)를 부여하고 점차 0.5로 감소시키는 동적 손실 가중치 기법을 도입한다.
• λ를 여러 단계에 걸쳐 선형적으로 초기 값에서 0.5로 감소시키는 훈련 스케줄을 사용하여 군집에서 세분으로의 부드러운 전환을 가능하게 한다.
• 최종 레이어뿐만 아니라 네 개의 맥스 풀링 레이어에 다중 수준 감독 신호를 추가함으로써 특징 학습을 향상시킨다.
• 제한된 훈련 데이터로 인한 과적합을 완화하기 위해 데이터 증강을 적용한다.
• 사전 초기화나 사전 훈련 없이, 오직 원시적인 얼굴 이미지만을 입력으로 사용하여 단일 딥 컨volution 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 군집에서 세분으로의 훈련 전략이 가림 상황에서의 얼굴 정렬 정확도와 강건성에 향상 효과를 줄 수 있는가?
• RQ2 주요 지표에서 세부 지표로 훈련 초점을 점차 이동시키는 것이 더 나은 수렴 성능을 이끌어내고, 열악한 모델을 피할 수 있는가?
• RQ3 보조 속성 레이블링이 필요 없이 단일 딥 네트워크가 다단계 또는 사전 훈련된 모델을 능가할 수 있는가?
• RQ4 고정 가중치나 표준 훈련 방식에 비해 동적 손실 가중치 기법이 최종 정렬 정확도에서 어떤가?
• RQ5 다중 수준 감독은 얼굴 정렬 네트워크의 특징 표현 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 군집에서 세분으로의 훈련(CFT) 방법은 이전 최고 성능 기법(TCDCN) 대비 COFW 데이터셋에서 평균 오차를 21.37% 감소시켰다.
• CFT는 COFW에서 직접 훈련(DT)보다 6.22% 향상되었고, 300-W에서는 6.55%, Helen에서는 8.65% 향상되어 다양한 벤치마크에서 일관된 성능 향상을 보였다.
• 가림이 있는 도전적인 COFW 서브셋에서 CFT는 사전 훈련과 속성 감독을 사용하는 TCDCN을 뛰어넘어 뚜렷한 강건성 향상을 보였다.
• 심한 가림과 자세 변화 상황에서도 CFT는 COFW에서 평균 오차 6.33%를 기록했으며, 이는 눈 간 거리 기준 정규화된 값이다.
• 시각적 결과에서는 CFT가 부분적 가림이나 극단적인 표정 변화와 같은 복잡한 케이스를 RCPR 및 기타 기준 모델보다 더 정확하게 처리하는 것으로 나타났다.
• 모델은 CPU에서 한 장의 이미지를 65ms 내로 처리하며, TCDCN(18ms)보다 느리지만 성능 향상의 성과를 고려하면 복잡성의 상충 요소로 타당하다.