[논문 리뷰] N-GrAM: New Groningen Author-profiling Model

Angelo Basile, Gareth Dwyer외 4명|arXiv (Cornell University)|2017. 07. 12.

Authorship Attribution and Profiling참고 문헌 4인용 수 12

한 줄 요약

N-GrAM은 영어, 스페인어, 아랍어, 포르투갈어에서 성별 및 어휘 다양성 예측을 위해 단어 유니그램과 문자 3-에서 5-그램(tf-idf 가중치)을 사용하는 선형 서포트 벡터 머신을 활용하는 단순하지만 매우 효과적인 저자 프로파일링 시스템이다. PAN 2017 공동 과제에서 평균 정확도 0.86을 기록하여 종합 1위를 차지했으며, 추가 기능과 복잡한 모델이 성능을 떨어뜨리는 것으로 나타났다.

ABSTRACT

We describe our participation in the PAN 2017 shared task on Author Profiling, identifying authors' gender and language variety for English, Spanish, Arabic and Portuguese. We describe both the final, submitted system, and a series of negative results. Our aim was to create a single model for both gender and language, and for all language varieties. Our best-performing system (on cross-validated results) is a linear support vector machine (SVM) with word unigrams and character 3- to 5-grams as features. A set of additional features, including POS tags, additional datasets, geographic entities, and Twitter handles, hurt, rather than improve, performance. Results from cross-validation indicated high performance overall and results on the test set confirmed them, at 0.86 averaged accuracy, with performance on sub-tasks ranging from 0.68 to 0.98.

연구 동기 및 목표

• 다국어 소셜 미디어 텍스트에서 성별과 어휘 다양성을 동시에 예측할 수 있는 통합 모델을 개발하기 위해.
• 성별과 어휘 다양성 예측을 하나의 공동 모델로 통합할 경우 성능 향상이 이루어지는지 평가하기 위해.
• 고도화된 기능(예: 품사 태그, 지리적 실체, 트위터 ID 등)이 기본적인 n-그램 기능보다 성능 향상에 기여하는지 조사하기 위해.
• 특성 공학 또는 하이퍼파라미터 튜닝 중 어느 것이 저자 프로파일링 과제에서 더 큰 성과를 내는지 규명하기 위해.

제안 방법

• 하위선형 용어 빈도 스케일링을 사용한 tf-idf 가중치와 선형 서포트 벡터 머신 분류기를 적용: $1 + \log(tf)$.
• 주요 특성으로 단어 유니그램과 문자 3-에서 5-그램을 사용하며, 희소성 감소를 위해 min_df=2를 설정.
• C, 소문자 정규화, max_df, use_idf 등의 하이퍼파라미터에 대해 광범위한 그리드 서치를 수행.
• 성별과 어휘 다양성 예측을 공동 모델링 및 별도 모델링으로 평가하였으며, 공동 접근 방식을 선호.
• 품사 태그, 지리적 실체, 트위터 ID 등의 추가 기능을 테스트하였지만 성능 저하를 초래함.
• 5겹 교차 검증 및 PAN 2017 테스트 세트에서의 최종 평가를 수행하였으며, 결과는 언어별 및 과제별로 집계.

실험 결과

연구 질문

• RQ1 단일 통합 모델이 다국어 소셜 미디어 텍스트에서 성별과 어휘 다양성을 효과적으로 예측할 수 있는가?
• RQ2 플랫폼 특화 기능(예: 트위터 ID, 품사 태그, 지리적 실체 등)을 통합할 경우 저자 프로파일링 성능이 향상되는가?
• RQ3 기본적인 n-그램 기능이 더 복잡한 수작업 기반 기능보다 저자 프로파일링 과제에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 어떤 기능들—예를 들어 플랫폼 전용 용어나 장소 이름—이 이 데이터셋에선 잘 작동하지만 일반화가 어려운 이유는 무엇인가?
• RQ5 이 설정에서 하이퍼파라미터 튜닝이 특성 공학보다 저자 프로파일링 시스템 성능 향상에 더 효과적인가?

주요 결과

• 최종 N-GrAM 시스템은 모든 과제와 언어에서 평균 정확도 0.86을 기록하여 PAN 2017 공동 과제에서 1위를 차지했다.
• 성능이 가장 뛰어난 시스템은 추가 기능 없이 단어 유니그램과 문자 3-에서 5-그램, tf-idf 가중치, 선형 서포트 벡터 머신만을 사용했다.
• 품사 태그, 지리적 실체, 트위터 ID 등의 기능 추가는 항상 성능 저하를 초래하여 모든 언어에서 정확도가 감소했다.
• 포르투갈어 어휘 다양성 예측에선 0.981의 정확도를 기록했고, 스페인어에선 0.962를 기록하여 고변동성 언어 과제에서 뛰어난 성능을 보였다.
• 성별 예측에선 영어에선 0.823, 아랍어에선 0.801의 정확도를 기록하였으며, 테스트 세트에서 전체 정확도는 0.8253이었다.
• 공동 예측 정확도는 0.8361로, 기준선인 LDR 모델의 공동 과제 점수 0.6738보다 유의미하게 높았다.