[논문 리뷰] Detecting English Writing Styles For Non-native Speakers

Rami Al‐Rfou|arXiv (Cornell University)|2012. 11. 02.

Natural Language Processing Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 영어 위키백과 토론 페이지의 댓글을 활용해 비모국어 영어 작문 스타일을 탐지하는 스타일리스틱 접근법을 제안한다. 9,857명의 사용자로부터 필터링된 589,228개의 댓글을 기반으로 기계학습을 적용한 결과, 모국어 사용자와 비모국어 사용자를 구분하는 데 74%의 정확도를 달성하였으며, 게다가 게르만어족이나 라틴어족과 같은 어족 관계가 작문 패턴에 크게 영향을 미치는 것으로 드러났다. 혼동 행렬에서 유사한 언어들이 군집으로 나타나는 것을 확인할 수 있었다. 본 연구에서 사용된 데이터셋은 향후 연구를 위해 공개되었다.

ABSTRACT

Analyzing writing styles of non-native speakers is a challenging task. In this paper, we analyze the comments written in the discussion pages of the English Wikipedia. Using learning algorithms, we are able to detect native speakers' writing style with an accuracy of 74%. Given the diversity of the English Wikipedia users and the large number of languages they speak, we measure the similarities among their native languages by comparing the influence they have on their English writing style. Our results show that languages known to have the same origin and development path have similar footprint on their speakers' English writing style. To enable further studies, the dataset we extracted from Wikipedia will be made available publicly.

연구 동기 및 목표

• 다양하고 대규모 사용자 기반에서 비모국어 영어 작문 스타일 패턴과 오류를 분석하기 위해.
• 모국어가 비모국어 영어 작문의 철자, 문법적 구조, 어휘 선택에 어떻게 영향을 미치는지 조사하기 위해.
• 비모국어 사용자들을 그들의 영어 작문 스타일 유사성 기반으로 분류하고 군집화하기 위해.
• 향후 스타일리스틱 및 어학 학습 연구를 위해 위키백과 댓글 데이터셋을 공개하기 위해.
• 기계학습을 활용한 작문 패턴 분석을 통해 언어어족 분류를 검증하기 위해.

제안 방법

• 영어 위키백과 토론 페이지에서 1,200만 개의 댓글을 추출하고, 모국어가 특정된 사용자이자 최소 20개 토큰 이상을 가진 사용자에 한하여 필터링하였다.
• 이름, 고유명사 등을 POS 품사 태그로 대체하고, 비-ASCII 문자는 특수 토큰으로 교체하며, 다수의 모국어를 가진 사용자는 제외하여 필터링하였다.
• 단어 1-그램, 2-그램, 3-그램, 문자 4-그램, 단어 4-그램, POS 4-그램을 포함한 언어학적 특징을 구축하였다.
• 로지스틱 회귀 분류기를 특징에 기반해 모국어 사용자와 비모국어 사용자를 구분하고, 모국어를 분류하기 위해 훈련시켰다.
• 혼동 행렬에 대해 친화력 기반 클러스터링(affinity propagation clustering)을 적용하여 작문 스타일 패턴 유사성에 기반해 언어를 군집화하였다.
• 학습 곡선을 사용해 데이터 크기가 모델 성능에 미치는 영향을 평가하였으며, 더 큰 데이터셋에 대한 확장 가능성도 입증하였다.

실험 결과

연구 질문

• RQ1 실제 세계의 비공식적 위키백과 댓글을 활용해 기계학습 모델이 높은 정확도로 비모국어 영어 작문 스타일을 탐지할 수 있는가?
• RQ2 모국어 배경이 비모국어 영어 작문의 특정 철자, 문법적 구조, 어휘 패턴에 어떻게 영향을 미치는가?
• RQ3 게르만어족, 라틴어족 등과 같은 언어어족 관계가 비모국어 영어 작문 스타일의 유사성과 얼마나 관련이 있는가?
• RQ4 분류 모델의 혼동 행렬을 활용해 군집화를 통해 알려진 언어어족 구조를 회복할 수 있는가?
• RQ5 데이터셋 크기가 증가할수록 비모국어 작문 탐지에 사용되는 스타일리스틱 분류기 성능에 어떤 영향을 미치는가?

주요 결과

• 위키백과 댓글을 기반으로 한 분류기는 비모국어 영어 사용자와 모국어 사용자를 구분하는 데 74%의 정확도를 달성하였다.
• 분류에 가장 유용한 특징은 단어 2-그램이었으며, 이어 1-그램, 3-그램, 문자 4-그램이 뒤이었다. 더 긴 n-그램은 희소성으로 인해 정보량이 감소하는 경향을 보였다.
• 특히 게르만어족과 라틴어족에 속한 언어들은 분류에서 높은 혼동도를 보이며, 공통된 작문 스타일의 흔적을 지니고 있음을 시사한다.
• 혼동 행렬에 대해 친화력 기반 클러스터링을 적용한 결과, 게르만어족, 라틴어족, 우랄어족, 슬라브어족 등 기존 언어어족 분류와 일치하는 군집이 성공적으로 형성되었다.
• 특정 POS 4-그램 패턴, 예를 들어 IN DT NN PRP(포르투갈어에서는 0.13%, 한국어에서는 0.04%)는 어순과 기능어 사용에 대한 모국어의 영향을 뚜렷이 드러낸다.
• 아랍어 사용자는 TO DT NN IN 패턴(0.11%)을 특히 선호하는 경향을 보였으며, 다른 그룹보다 유의미하게 높은 비율을 보여, 일관된 다국어적 영향이 있음을 시사한다.