[논문 리뷰] Nationality Classification Using Name Embeddings

Junting Ye, Shuchu Han외 5명|arXiv (Cornell University)|2017. 08. 25.

Authorship Attribution and Profiling참고 문헌 21인용 수 25

한 줄 요약

이 논문은 5,700만 개의 익명화된 연락처 목록에서 유도된 동음성 패턴을 기반으로 한 이름 임베딩을 사용하여 최신 기술 수준의 성능을 달성하는 국적 및 민족 분류기인 NamePrism을 소개한다. 통신 네트워크 구조를 활용해 강력한 이름 표현을 학습함으로써, 13개 클래스의 벤치마크에서 F1 스코어 0.795를 기록했으며, 기존 방법들인 Ethnea(0.580)보다 뚜렷이 뛰어나다.

ABSTRACT

Nationality identification unlocks important demographic information, with many applications in biomedical and sociological research. Existing name-based nationality classifiers use name substrings as features and are trained on small, unrepresentative sets of labeled names, typically extracted from Wikipedia. As a result, these methods achieve limited performance and cannot support fine-grained classification. We exploit the phenomena of homophily in communication patterns to learn name embeddings, a new representation that encodes gender, ethnicity, and nationality which is readily applicable to building classifiers and other systems. Through our analysis of 57M contact lists from a major Internet company, we are able to design a fine-grained nationality classifier covering 39 groups representing over 90% of the world population. In an evaluation against other published systems over 13 common classes, our F1 score (0.795) is substantial better than our closest competitor Ethnea (0.580). To the best of our knowledge, this is the most accurate, fine-grained nationality classifier available. As a social media application, we apply our classifiers to the followers of major Twitter celebrities over six different domains. We demonstrate stark differences in the ethnicities of the followers of Trump and Obama, and in the sports and entertainments favored by different groups. Finally, we identify an anomalous political figure whose presumably inflated following appears largely incapable of reading the language he posts in.

연구 동기 및 목표

• 작은, 비대표적인 데이터셋으로 훈련된 기존의 이름 기반 국적 분류기의 성능 한계와 굵은 분류 해상도 문제를 해결한다.
• 서브스트링 특징에 의존하는 것과 비슷한 문제를 해결하기 위해 데이터 기반 임베딩 접근법을 도입함으로써 비라틴 문자 측면에서의 일반화 능력을 향상시킨다.
• 세계 인구의 90퍼센트 이상을 포함하는 39개의 국적을 다루는 세밀한, 공개 가능한 분류기를 개발한다.
• 이름만을 사용하여도 생물의학 및 사회학 연구와 같은 개인정보 민감도가 높은 분야에서 정확한 인구통계 추론을 가능하게 한다.
• 소셜 미디어 분석을 통해 고유명인사 트위터 유저들의 팔로워들 간의 민족 구성 차이를 드러내어 실용적 유용성을 입증한다.

제안 방법

• 사람들은 유사한 사람들과 연관되며, 이를 바탕으로 5,700만 개의 익명화된 연락처 목록에서 이름 임베딩을 유도한다.
• 연락처 목록 내 이름 동시출현 패턴을 기반으로 워드 임베딩(예: 스킵그램)을 훈련하여 성별, 민족, 국적을 포함한 표현을 학습한다.
• 미국 인구 조사 데이터와 세계적 이름 분포를 기반으로 118개 국가의 레이블을 사용해 39개 국적의 계층적 분류 체계를 구축한다.
• 희귀 성씨를 가진 첫 번째 이름에 대해, 알려진 민족 소속이 있는 일반적인 성씨와 연결함으로써 베이지안 추론을 적용해 민족 분포를 추정한다.
• 나이브 베이즈 분류기의 특징으로 이름 임베딩을 사용하여 국적 및 민족 예측을 수행한다.
• 미국 외의 이름을 처리하기 위해 미국 기반 추정치와 이메일 및 트위터 데이터에서 확보한 글로벌 이름 레이블을 결합한다.

실험 결과

연구 질문

• RQ1 통신 네트워크 구조를 활용해 국적과 민족을 인코딩하는 더 강력한 이름 표현을 학습할 수 있는가?
• RQ2 대규모 연락처 목록에서 유도된 이름 임베딩이 서브스트링 기반 방법에 비해 국적 및 민족 분류 정확도를 향상시킬 수 있는가?
• RQ3 세밀한, 세계적으로 대표적인 국적 분류 체계는 다양한 이름 세트에서 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 분야(예: 정치, 엔터테인먼트)에 속한 고유명인사 트위터 유저들의 팔로워 민족 구성은 어떻게 다를까?
• RQ5 국적 분류가 소셜 미디어 팔로워 네트워크에서 이질적인 언어와 팔로워 민족 구성 간의 불일치를 탐지할 수 있는가?

주요 결과

• NamePrism는 13개 클래스의 국적 분류 벤치마크에서 F1 스코어 0.795를 기록했으며, Ethnea(0.580), HMM(0.364), EthnicSeer(0.571)보다 뚜렷이 뛰어나다.
• 이름 임베딩은 임베딩 공간에서 실제 국경과 일치하는 공간 맵을 생성하여 의미 있는 의미적 구조를 보여준다.
• 트위터 팔로워 분석 결과, 트럼프의 팔로워는 백인 비율이 상당히 높은 반면, 오바마와 클린턴의 팔로워는 少수 민족 비율이 더 높았다.
• 인도 유명인(예: 보ollywood 스타)의 팔로워는 대부분 인도 민족에 속해 있었고, 히스패닉 팔로워는 축구와 복싱 같은 스포츠를 더 선호했다.
• 이상하게도, 구글 검색 결과가 단 45,000건에 불과한 인도네시아 정치인은 영국, 러시아, 인도계 이름을 가진 팔로워의 50퍼센트를 확보하고 있었으며, 소셜 미디어 게시물은 전부 인도네시아어로 되어 있었다—이는 잠재적인 봇 또는 위조 활동을 시사한다.
• 희귀 첫 번째 이름에 대해, 미국 인구 조사 데이터 기반으로 알려진 민족 소속이 있는 성씨와 연결함으로써 모델이 민족 분포를 성공적으로 추정했으며, 일반 이름을 넘어서 커버리지가 향상되었다.