[논문 리뷰] Including Dialects and Language Varieties in Author Profiling

Alina Maria Ciobanu, Marcos Zampieri외 2명|arXiv (Cornell University)|2017. 07. 03.

Authorship Attribution and Profiling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 사회 미디어 텍스트에서 성별과 언어 변형을 식별하기 위해 문자 및 단어 n-gram을 사용한 SVM 앙상블 모델을 제시한다. PAN 2017 데이터셋에서 성별 분류 평균 정확도는 75%이며 포르투갈어 어휘 식별 정확도는 97.9%를 기록하여, 저자 프로파일링에 어휘를 포함시킨 최초의 공동 과제 중 하나로 평가된다.

ABSTRACT

This paper presents a computational approach to author profiling taking gender and language variety into account. We apply an ensemble system with the output of multiple linear SVM classifiers trained on character and word $n$-grams. We evaluate the system using the dataset provided by the organizers of the 2017 PAN lab on author profiling. Our approach achieved 75% average accuracy on gender identification on tweets written in four languages and 97% accuracy on language variety identification for Portuguese.

연구 동기 및 목표

• 다양한 언어로 작성된 소셜 미디어 텍스트에서 저자 프로파일링을 언어 변형과 어휘까지 확장하기 위해.
• 짧고 비공식적인 사용자 생성 콘텐츠에서 유사한 언어, 언어 변형, 어휘를 구분하는 데 도전하는 것.
• 이전 공동 과제(예: DSL, ADI)에서 성공한 방법을 PAN 2017 저자 프로파일링 벤치마크에 적응하기 위해.
• 통합된 프레임워크 내에서 성별과 언어 변형 식별 성능를 동시에 평가하기 위해.
• 짧고 비표준적인 텍스트 등의 데이터 특성가 저자 프로파일링 과제에서의 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 성별 및 언어 변형 분류를 위해 문자 및 단어 n-gram(n ≥ 4)을 기반으로 선형 SVM 분류기의 앙상블을 사용하였다.
• 이중 단계 접근 방식을 적용: 먼저 각 언어별로 언어 변형 분류기를 훈련한 후, 이를 어휘나 변형 식별에 적용하였다.
• 기존 공동 과제에서의 특징 공학 기법을 적용하여 1,000개의 빈도가 높은 n-gram 특징을 선택하고, 품사 태깅 정보와 융합하였다.
• 독일어 어휘 식별에서 높은 성능을 보인 시스템을 영감으로 삼아 메타-분류기 접근 방식을 구현하였다.
• PAN 2017 훈련 세트에서 교차 검증을 사용하여 모델을 훈련하고, TIRA 가상 머신을 통해 제공된 보류된 테스트 세트에서 평가하였다.
• 두 기준 모델인 BOW-baseline(단어 뭉치) 및 STAT-baseline(다수 클래스)와의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 기존의 n-gram 및 SVM 기반 접근 방식이 짧고 비공식적인 소셜 미디어 텍스트에서 성별과 언어 변형을 효과적으로 분류할 수 있는가?
• RQ2 특히 자원이 적은 환경에서, 다양한 언어와 어휘 간 성능은 어떻게 달라지는가?
• RQ3 짧은 길이, 비표준 언어 등의 데이터 특성이 저자 프로파일링 과제에서 모델 정확도에 어떤 영향을 미치는가?
• RQ4 앙상블 방법과 n-gram 특징은 비슷한 언어 변형을 구분하는 데 간단한 기준 모델보다 어떻게 비교되는가?
• RQ5 유사 과제에서 높은 성능를 기록했음에도 불구하고 예상된 성능과 실제 성능 간 격차를 설명할 수 있는 요소는 무엇인가?

주요 결과

• 네 개 언어에서 성별 식별 평균 정확도는 75.04%로 22개 참가자 중 12위를 기록하였다.
• 언어 변형 식별에서는 평균 정확도 85.24%를 기록하여 22개 참가자 중 11위를 기록하였다.
• 포르투갈어 어휘 식별에서 가장 높은 성능을 기록하여 정확도 97.88%를 달성하였으며, BOW-baseline(97.12%)를 뛰어넘었다.
• 성별 분류 성능는 아랍어에서 가장 낮았고(71.31%), 포르투갈어에서 가장 높았으며(77.13%), 영어와 스페인어는 그 사이에 위치하였다.
• 모든 언어와 하위 과제에서 BOW-baseline 및 STAT-baseline를 뚜렷이 앞서는 성능를 기록하였다.
• 교차 검증에서는 높은 성능를 기록했으나, 최종 테스트 세트 결과는 예상보다 낮았으며, 데이터 희소성, 모델 초모수 설정, 또는 경쟁자들이 딥 러닝 접근 방식을 사용한 것이 원인일 수 있다.