[논문 리뷰] Facial Landmark Detection for Manga Images

Marco Stricker, Olivier Augereau외 2명|arXiv (Cornell University)|2018. 11. 08.

Face recognition and analysis참고 문헌 5인용 수 8

한 줄 요약

이 논문은 두 단계의 딥 어웨어 네트워크(DAN)를 사용한 딥 러닝 기반 만화 이미지 얼굴 랜드마크 검출 시스템을 제안한다. 이는 만화 전용 랜드마크 애너테이션 모델을 포함하며, 새로 제작된 만화 데이터셋에서 19.31%의 실패율을 기록하여 단일 단계 모델을 능가하고, 스타일화된 얼굴 특징과 표정에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

The topic of facial landmark detection has been widely covered for pictures of human faces, but it is still a challenge for drawings. Indeed, the proportions and symmetry of standard human faces are not always used for comics or mangas. The personal style of the author, the limitation of colors, etc. makes the landmark detection on faces in drawings a difficult task. Detecting the landmarks on manga images will be useful to provide new services for easily editing the character faces, estimating the character emotions, or generating automatically some animations such as lip or eye movements. This paper contains two main contributions: 1) a new landmark annotation model for manga faces, and 2) a deep learning approach to detect these landmarks. We use the "Deep Alignment Network", a multi stage architecture where the first stage makes an initial estimation which gets refined in further stages. The first results show that the proposed method succeed to accurately find the landmarks in more than 80% of the cases.

연구 동기 및 목표

• 실제 인간 얼굴 비율과 대칭성과 크게 다름에도 불구하고 스타일리시하고 비사진적 만화 얼굴에서의 랜드마크 검출 과제를 해결한다.
• 다양한 예술 스타일의 만화에서 랜드마크 레이블링을 표준화하기 위해 만화 전용 얼굴 랜드마크 애너테이션 모델을 개발한다.
• 750개의 만화 얼굴과 68개의 애너테이션 랜드마크를 포함한 공개 데이터셋을 구축하고, 향후 만화 이미지 분석 연구를 지원한다.
• 만화 얼굴의 고유한 시각적 특징을 고려해 최적화된 딥 러닝 기반 랜드마크 검출 시스템을 구현하고 평가한다.
• 디지털 만화에서 정서 추정, 캐릭터 애니메이션, 얼굴 편집 등의 애플리케이션에서 랜드마크 검출 성능을 향상시킨다.

제안 방법

• 딥 어웨어 네트워크(DAN) 아키텍처를 채택한다. 이는 각 단계에서 이전 단계의 랜드마크 예측을 개선하는 다단계 딥 러닝 프레임워크이다.
• 두 단계 훈련 전략을 적용한다: 첫 번째 단계는 초도 랜드마크 추정을 제공하고, 두 번째 단계는 전체 이미지 컨텍스트와 특징 개선을 통해 이를 정밀하게 보정한다.
• 제한된 만화 데이터셋 크기를 감안해 일반화 능력을 향상시키고 과적합을 줄이기 위해 데이터 증강 기법을 적용한다.
• 이미지 스케일과 크기와 무관하게 성능 메트릭을 유지하기 위해 랜드마크 오차를 턱끝에서 턱끝 거리(D_chin)로 정규화한다.
• 성공 기준을 정규화된 평균 오차(S)가 0.0333 이하로 설정한다. 이는 인간 애너테이터 간 최대 변동 범위에 해당한다.
• 세 가지 메트릭을 사용해 성능을 평가한다: 정규화 단위의 평균 오차, 임계값 α 이하 누적분포곡선 아래 면적(A_α), 실패율(정규화된 평균 오차 S > 0.0333인 이미지 비율).

실험 결과

연구 질문

• RQ1 스타일리시하고 비균일한 얼굴 비율과 예술적 변형을 가진 만화 이미지에서 딥 러닝 기반 랜드마크 검출 시스템이 높은 정확도를 달성할 수 있는가?
• RQ2 만화 전용 랜드마크 검출에서 두 단계의 딥 어웨어 네트워크는 단일 단계 버전보다 성능이 뛰어나게 되는가?
• RQ3 제한된 만화 데이터셋에서 랜드마크 검출에 대해 데이터 증강 기법이 일반화 능력을 향상시키고 과적합을 줄이는 데 얼마나 기여하는가?
• RQ4 실제 인간 얼굴에서 훈련한 모델이 테스트 데이터가 완전히 만화에서 나온 경우에도 만화 랜드마크 검출 성능을 향상시키는가?
• RQ5 네트워크 단계 수를 늘리는 것(예: 세 단계)이 검출 정확도와 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 데이터 증강을 적용한 두 단계의 딥 어웨어 네트워크가 가장 뛰어난 성능을 보였으며, 실패율은 19.31%로 단일 단계 모델(52.41% 실패율)을 크게 능가했다.
• 가장 성능이 뛰어난 두 단계 모델에서 데이터 증강을 적용한 결과, 정규화된 평균 오차는 0.02935로 낮아졌고, 이는 단일 단계 모델(증강 없음)의 0.04355보다 유의미하게 낮아졌다.
• 누적분포곡선 아래 면적(A_α)은 최고 성능 모델에서 0.24295에 도달하여 다양한 오차 임계값 범위에서 강력한 성능을 보였다.
• 모델은 80% 이상의 경우 정확한 랜드마크 검출을 달성했으며, 정면, 중립 표정 및 중간 정도의 얼굴 변형이 있는 경우에서 가장 높은 성공률 기록했다.
• 세 단계 모델는 두 단계 설정을 초월해 성능 향상을 이룰 수 없었으며, 추가적인 보정 단계에서의 수익 감소 현상을 확인했다.
• 실패 임계값 0.0333은 인간 애너테이터 간의 변동성에 기반하여 설정되었으며, 이 범위 내의 예측은 인간 기준으로도 허용 가능하다는 것을 확인했다.