[논문 리뷰] It's All in the Name: A Character Based Approach To Infer Religion

Rochana Chaturvedi, Sugat Chaturvedi|arXiv (Cornell University)|2020. 10. 27.

Names, Identity, and Discrimination Research인용 수 4

한 줄 요약

이 논문은 남아시아의 개인 이름으로부터 종교를 추론하기 위한 문자 기반 딥러닝 접근법을 제안한다. 이름의 언어학적 패턴을 활용하여, 예측된 이름에 대해서도 높은 정확도를 달성한다. 개인의 이름과 부모 또는 배우자의 이름을 결합하고, 계층적 관련성 전파(LRP)를 사용하여 예측을 해석함으로써, 기존의 사전 기반 접근법을 능가하며, 발음 및 철자적 특징이 종교적 및 언어학적 기원을 어떻게 반영하는지 밝혀낸다.

ABSTRACT

Demographic inference from text has received a surge of attention in the field of natural language processing in the last decade. In this paper, we use personal names to infer religion in South Asia - where religion is a salient social division, and yet, disaggregated data on it remains scarce. Existing work predicts religion using dictionary based method, and therefore, can not classify unseen names. We use character based models which learn character patterns and, therefore, can classify unseen names as well with high accuracy. These models are also much faster and can easily be scaled to large data sets. We improve our classifier by combining the name of an individual with that of their parent/spouse and achieve remarkably high accuracy. Finally, we trace the classification decisions of a convolutional neural network model using layer-wise relevance propagation which can explain the predictions of complex non-linear classifiers and circumvent their purported black box nature. We show how character patterns learned by the classifier are rooted in the linguistic origins of names.

연구 동기 및 목표

• 남아시아에서 특히 개인 수준에서의 세분화된 종교 인구 통계 데이터의 부족을 해결하기 위해.
• 새로운 이름을 분류하지 못하는 사전 기반 방법의 한계를 극복하기 위해.
• 이름의 문자 수준 패턴을 활용해 확장 가능하고 높은 정확도를 가진 종교 추론 방법을 개발하기 위해.
• 계층적 관련성 전파(LRP)를 사용해 모델의 결정을 해석함으로써 딥러닝 분류기의 흑박상자 성격을 줄이기 위해.
• 이름 기반 종교 추론의 유용성을 대규모 사회과학 연구 및 정책 평가에 적용함을 보여주기 위해.

제안 방법

• 모델은 이름의 국소적 패턴을 학습하기 위해 문자 수준 임베딩을 사용하며, 이는 새로운 이름에 대한 일반화를 가능하게 한다.
• 시간에 따라 최대 풀링을 수행하는 단일 컨volutional 신경망(CNN) 레이어가 계층적 문자 수준 특징을 추출한다.
• 불균형한 종교 클래스 분포를 처리하기 위해 이진 교차 엔트로피 손실과 균형 잡힌 클래스 가중치로 모델을 훈련시킨다.
• 입력 이름은 고정 길이로 0 패딩되고, 29–30차원 문자 임베딩으로 변환된다.
• 최종 출력은 각 종교에 대한 클래스 확률을 생성하는 시그모이드 활성화 함수를 적용한 완전 연결 레이어이다.
• 예측을 해석하기 위해 계층적 관련성 전파(LRP)가 적용되어 입력 문자에 대한 관련성 점수가 할당된다.

실험 결과

연구 질문

• RQ1 문자 기반 딥러닝 모델은 사전 기반 방법보다 더 높은 정확도로 이름으로부터 종교를 추론할 수 있는가, 특히 새로운 이름에 대해서도 그렇다면?
• RQ2 남아시아에서 이름의 언어학적 및 발음 패턴은 종교적 및 언어학적 기원을 어떻게 반영하는가?
• RQ3 개인의 이름과 부모 또는 배우자의 이름을 결합하면 종교 분류 정확도가 뚜렷이 향상되는가?
• RQ4 LRP는 이와 같은 복잡한 비선형 모델(CNN 등)의 결정 과정을 어느 정도 해석할 수 있는가?
• RQ5 힌두교, 이슬람, 기독교, 시크교, 부처교, 재민교 공동체의 이름에서 문자 수준 패턴은 어떻게 다른가?

주요 결과

• 문자 기반 CNN 모델은 기존의 사전 기반 방법보다 유의미하게 높은 정확도를 달성하며, 특히 새로운 이름에 대해서는 더욱 두드러진다.
• 개인 이름과 부모 또는 배우자의 이름을 결합함으로써 분류 정확도가 놀라울 정도로 향상된다.
• 모델은 이슬람 이름에서 'F', 'Q', 'Z'와 같은 문자의 상대 빈도가 높다는 것을 성공적으로 식별하며, 이는 산스크리트어에 존재하지 않는 아랍어 발음 기초를 반영한다.
• 힌두교, 시크교, 재민교, 부처교 이름은 공통된 산스크리트어 또는 프라크리트어 근원으로 인해 유사한 문자 분포를 공유한다.
• LRP 분석은 모델이 'Q'와 'Z'와 같은 문자 패턴을 언어학적으로 의미 있는 방식으로 활용하여 예측을 내림을 확인한다.
• n-그램 특징과 TF-IDF를 사용한 선형 모델(SVM, LR)도 뛰어난 성능을 보였지만, CNN 모델이 특히 희귀하거나 새로운 이름을 다룰 때 더 뛰어난 성능을 보였다.