[논문 리뷰] Bleaching Text: Abstract Features for Cross-lingual Gender Prediction

Rob van der Goot, Nikola Ljubešić외 3명|IT University Of Copenhagen (IT University of Copenhagen)|2018. 05. 08.

Authorship Attribution and Profiling참고 문헌 22인용 수 22

한 줄 요약

이 논문은 성별 예측을 향상시키기 위해 텍스트를 문자 형태, 고음자-자음 패턴, 구두점 클래스와 같은 추상적이고 비어 있는 특징으로 변환하는 방법을 제안한다. 원시 단어들을 일반화된 표현으로 대체함으로써 어휘 외의 스타일적 패턴을 포착하며, 인간 수준의 성능을 달성하고 다국어 환경에서 어휘 기반 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Gender prediction has typically focused on lexical and social network features, yielding good performance, but making systems highly language-, topic-, and platform-dependent. Cross-lingual embeddings circumvent some of these limitations, but capture gender-specific style less. We propose an alternative: bleaching text, i.e., transforming lexical strings into more abstract features. This study provides evidence that such features allow for better transfer across languages. Moreover, we present a first study on the ability of humans to perform cross-lingual gender prediction. We find that human predictive power proves similar to that of our bleached models, and both perform better than lexical models.

연구 동기 및 목표

• 텍스트에서 유도된 비어 있는 추상적 특징이 언어 간 성별을 효과적으로 예측할 수 있는지 조사하기 위해.
• 주제 및 어휘 편향으로 인해 언어 간 일반화에 실패하는 어휘 기반 모델의 한계를 해결하기 위해.
• 사람들이 언어를 모른 채로도 다국어 성별 예측을 수행할 수 있는지, 그리고 기계 모델과의 성능 비교를 위해.
• 어휘 내용을 흐리게 하면서도 예측 신호를 유지하는 언어에 종속되지 않는 특징 표현을 개발하기 위해.

제안 방법

• 어휘 내용을 일반화된 패턴으로 대체하여 원시 텍스트를 추상적 특징으로 변환: 크기 기반 빈도 분할, 문자 길이, 구두점 클래스(PunctC/PunctA), 형태(U/L/D/X), 모음-자음(V/C/O), 및 모든 추상화 조합(AllAbs).
• 트위터 데이터를 사용하여 이러한 추상적 특징을 기반으로 지도 학습 모델(SVM, 로지스틱 회귀 등)을 훈련하여 성별 예측을 수행.
• 내어 있는 모델, 어휘 기반 모델 및 다국어 임베딩 간의 성능을 내어 있는 설정과 교차 언어 설정 모두에서 비교.
• 200개의 트윗씩 사용자당 제공하고 다양한 언어 조합을 사용하여 교차 언어 성별 예측 정확도를 평가하기 위해 인간 평가 실험을 수행.
• 내어 있는 모델에서 局부 패턴을 포착하면서도 어휘 특이성을 피하기 위해 5-그램 특징 윈도우를 적용.
• 어휘 빈도에 대한 분할을 적용하여 희소성 문제를 줄이고 언어 간 일반화를 향상시킴.

실험 결과

연구 질문

• RQ1 텍스트에서 도출된 유일한 비어 있는 추상적 특징만으로 성별을 얼마나 잘 예측할 수 있는가(RQ1)?
• RQ2 내어 있는 모델이 어휘 기반 또는 임베딩 기반 모델보다 언어 간 전이 성능에서 얼마나 우수한가(RQ2)?
• RQ3 사람들은 언어를 모른 채로도 교차 언어 성별 예측을 수행할 수 있으며, 그 성능은 모델과 비교해 어떻게 되는가(RQ3)?

주요 결과

• 내어 있는 모델은 교차 언어 성별 예측에서 61.5%의 정확도를 달성(예: PT → EN)하며, 어휘 기반 모델을 능가하고 인간 성능과 유사하다.
• 교차 언어 설정에서 인간의 평균 정확도는 60.0%로, 어휘 기반 모델을 뚜렷이 능가하며 내어 있는 모델과 유사하다.
• 내어 있는 모델의 내어 있는 성능(EN에서 58.7%)은 인간의 내어 있는 성능(70.5%)보다 略로 낮지만, 교차 언어 전이에서는 이 격차가 줄어든다.
• 어휘 기반 모델은 내어 있는 모델보다 내어 있는 설정에서는 성능이 뛰어나지만 언어 간 일반화에 실패하여 언어에 종속된 편향을 드러낸다.
• 사용자당 트윗 수를 200개에서 20개로 줄였을 때 성능이 12%p 감소하여 내어 있는 모델이 데이터 희소성에 민감함을 보였다.
• AllAbs 특징 조합은 모든 언어에서 일관되게 최고의 성능을 보이며, 다양한 추상적 패턴을 조합함으로써 전이 가능성 향상이 가능함을 시사한다.