[논문 리뷰] Do They All Look the Same? Deciphering Chinese, Japanese and Koreans by Fine-Grained Deep Learning

Yu Wang, Haofu Liao외 3명|arXiv (Cornell University)|2016. 10. 06.

Face recognition and analysis참고 문헌 17인용 수 11

한 줄 요약

이 논문은 39,883개의 트위터 유저로부터 유래한 레이블이 부여된 이미지를 사용하여 중국인, 일본인, 한국인 얼굴을 세분화된 딥러닝 기반으로 분류하는 방법을 제안하며, 75.03%의 정확도를 기록하였다. 이는 우연의 경우(33.33%)와 인간 성능(38.89%)을 크게 뛰어넘는 결과이다. 또한 중국인의 빽빽한 눈썹, 일본인의 빈번한 미소, 한국인의 검은 머리카락과 같은 특징적인 얼굴 속성을 규명하였으며, 국적 간 성별 패턴의 공통성을 밝혀냈다.

ABSTRACT

We study to what extend Chinese, Japanese and Korean faces can be classified and which facial attributes offer the most important cues. First, we propose a novel way of obtaining large numbers of facial images with nationality labels. Then we train state-of-the-art neural networks with these labeled images. We are able to achieve an accuracy of 75.03% in the classification task, with chances being 33.33% and human accuracy 38.89% . Further, we train multiple facial attribute classifiers to identify the most distinctive features for each group. We find that Chinese, Japanese and Koreans do exhibit substantial differences in certain attributes, such as bangs, smiling, and bushy eyebrows. Along the way, we uncover several gender-related cross-country patterns as well. Our work, which complements existing APIs such as Microsoft Cognitive Services and Face++, could find potential applications in tourism, e-commerce, social media marketing, criminal justice and even counter-terrorism.

연구 동기 및 목표

• 중국인, 일본인, 한국인이 모두 비슷해 보인다는 널리 퍼진 믿음을 도전하고, 얼굴 분류 정확도를 경험적으로 검증하기 위해.
• 확인된 국적을 가진 트위터 사용자 39,883명의 얼굴 이미지를 수집하고 레이블을 부여한 대규모 데이터셋을 구축하기 위해.
• 중국인, 일본인, 한국인을 세분화된 수준에서 구분하는 데 가장 유의미한 얼굴 속성을 규명하기 위해.
• 동아시아 인구 집단 간 얼굴 특징에 대한 성별 관련 패턴을 탐구하기 위해.

제안 방법

• 아시아 스타의 트위터 팔로워들로부터 프로필 이미지를 수집하여, 균형 잡힌 국적 레이블이 부여된 39,883장의 얼굴 이미지 데이터셋을 구축하였다.
• 엔드 투 엔드 얼굴 국적 분류를 위해 최신 딥 네트워크인 VGG와 ResNet을 세밀하게 조정하였다.
• CelebA 데이터셋을 사용해 40개의 얼굴 속성에 대해 별도의 딥 네트워크를 훈련시켜 세분화된 속성 분석을 가능하게 하였다.
• OpenCV를 사용해 얼굴 감지를 수행하고, 속성별로 특화된 분류기를 적용해 국적 간 차이를 분석하였다.
• 통계적 분석을 통해 남녀 전체 및 성별별로 중국인, 일본인, 한국인 집단 간 속성 유병률을 비교하였다.
• 표준 평가 지표를 사용해 모델 성능을 평가하고, 결과를 우연의 경우 및 인간 기준 성능과 비교하였다.

실험 결과

연구 질문

• RQ1 딥러닝을 활용해 중국인, 일본인, 한국인의 얼굴을 신뢰성 있게 분류할 수 있으며, 인간 인식 성능과 비교해 어떤가?
• RQ2 중국인, 일본인, 한국인을 구분하는 데 가장 유의미한 특정 얼굴 속성은 무엇인가?
• RQ3 중국인, 일본인, 한국인 집단 간 일관된 성별 관련 얼굴 차이가 존재하는가? 국적에 따라 어떻게 다를까?
• RQ4 사회적 또는 문화적 규범이 동아시아 인구 집단의 관찰 가능한 얼굴 특징 분포에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 딥러닝 모델은 분류 정확도 75.03%를 기록하였으며, 이는 우연의 경우(33.33%)와 인간 성능(38.89%)을 크게 뛰어넘었다.
• 일본인은 가장 자주 미소를 짓는 것으로 나타났고, 중국인은 가장 적게 미소를 짓는 것으로 확인되었다.
• 중국인은 세 국적 중에서 빽빽한 눈썹의 유병률이 가장 높았다.
• 한국인은 검은 머리카락을 가진 비율이 가장 높았고, 일본인은 가장 낮았다.
• 눈밑 부종은 남성과 여성 모두에서 일본인에서 가장 흔했고, 그 다음으로 한국인이 뒤를 이었다.
• 모든 국적의 남성은 여성보다 두 배 이상의 확률로 안경을 착용했으며, 직업적 또는 사회적 스트레스 요인과의 연관성이 있을 가능성이 제기되었다.