[논문 리뷰] Stylistic Fingerprints, POS-tags and Inflected Languages: A Case Study in Polish

Maciej Eder, Rafał L. Górski|arXiv (Cornell University)|2022. 06. 05.

Authorship Attribution and Profiling참고 문헌 20인용 수 23

한 줄 요약

이 연구는 관계어가 풍부한 언어인 폴란드어에서 어형 특징을 비교함으로써 저자 식별을 위한 스타일리스틱 특징을 조사한다. 무어디화된 단어, 어원형 형태, 품사 태그 n-그램을 대조하여 분석한다. 폴란드 소설 코퍼스를 대상으로 한 지도 학습 분류를 통해, 대부분의 빈도 단어(MFWs)가 어원형 단어와 품사 태그보다 뛰어나지만, 후자 역시 상당한 기여를 한다—최대 약 75%의 식별 정확도를 유지함으로써, 문법적 구조가 낮은 전체 성능에도 불구하고 안정적이고 저자 고유의 신호를 담고 있음을 입증한다.

ABSTRACT

In stylometric investigations, frequencies of the most frequent words (MFWs) and character n-grams outperform other style-markers, even if their performance varies significantly across languages. In inflected languages, word endings play a prominent role, and hence different word forms cannot be recognized using generic text tokenization. Countless inflected word forms make frequencies sparse, making most statistical procedures complicated. Presumably, applying one of the NLP techniques, such as lemmatization and/or parsing, might increase the performance of classification. The aim of this paper is to examine the usefulness of grammatical features (as assessed via POS-tag n-grams) and lemmatized forms in recognizing authorial profiles, in order to address the underlying issue of the degree of freedom of choice within lexis and grammar. Using a corpus of Polish novels, we performed a series of supervised authorship attribution benchmarks, in order to compare the classification accuracy for different types of lexical and syntactic style-markers. Even if the performance of POS-tags as well as lemmatized forms was notoriously worse than that of lexical markers, the difference was not substantial and never exceeded ca. 15%.

연구 동기 및 목표

• 관계어가 풍부한 언어인 폴란드어와 같은 언어에서 어원형 단어와 품사 태그 n-그램이 스타일리스틱 특징으로서 저자 식별에 얼마나 효과적인지 평가하기 위해.
• 관계어가 풍부한 언어에서 단어 형태가 급격히 증가하고 빈도가 흐려지는 현상으로 인한 데이터 희소성 문제를 해결하기 위해.
• 문법적 특징(품사 태그를 통한)이 전통적인 어휘적 표식(예: MFWs)보다 저자 고유의 스타일리스틱 특징을 더 잘 포착하는지 조사하기 위해.
• 낮은 성능에도 불구하고 문법적 구조가 관계어가 풍부한 언어에서 안정적이고 의미 있는 저자 신호를 유지하는지 테스트하기 위해.
• 어원형 처리가 관계어가 풍부한 언어인 폴란드어와 같은 언어에서 저자 식별 정확도를 향상시키는지, 아니면 신호를 약화시키는지 규명하기 위해.

제안 방법

• 189편의 폴란드어 소설로 구성된 코퍼스를 구축하였으며, 다양한 데이터셋 크기를 위해 189, 99, 30편의 소설 서브셋으로 분할하였다.
• 세 가지 유형의 스타일리스틱 특징을 추출하였다: (1) 가장 빈도가 높은 단어(MFWs), (2) 자연어 처리(NLP) 어원화를 통한 어원형 단어 형태, (3) 품사 태깅에서 유도된 품사 태그 n-그램(1-그램에서 3-그램까지).
• 식별 정확도를 평가하기 위해 네 가지 지도 학습 분류 방법을 적용하였다: 코사인 델타, 서포트 벡터 머신(SVM), 비모수적 신경 분류기(NSC), 델타(거리 기반 분류기).
• 모든 데이터셋과 분류기 간 특징 유형 간 성능 차이의 통계적 유의성을 평가하기 위해 윌코크슨 부호 순위 검정을 사용하였다.
• F1 스코어를 사용해 성능을 평가하고, 특징 벡터 크기의 함수로 F1 스코어를 시각화한 곡선을 제작하였다.
• 전체 품사 태그, 첫 번째 세그먼트 품사 태그(엄격한 품사 태그), 다양한 길이의 품사 태그 n-그램(1-에서 3-그램까지)의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 어원형 처리가 관계어가 풍부한 언어인 폴란드어에서 저자 식별 정확도를 향상시키는가, 아니면 어원형 변형을 제거함으로써 신호를 약화시키는가?
• RQ2 품사 태그 n-그램이 어휘적 특징(MFWs 및 어원형 단어)과 비교해 폴란드어에서 저자 식별에 있어 분류 정확도에서 어떻게 성능을 내는가?
• RQ3 특정한 n-그램 길이(예: 1-그램, 2-그램, 3-그램)가 저자 고유의 스타일적 차이를 포착하는 데 최적의 성능을 내는가?
• RQ4 낮은 절대 성능에도 불구하고, 문법적 특징(품사 태그 시퀀스로 표현됨)이 관계어가 풍부한 언어에서 안정적인 저자 고유의 특징을 얼마나 오랫동안 유지하는가?
• RQ5 관계어가 풍부한 언어에서 어휘적 특징과 문법적 특징의 상대적 기여도는 어떻게 되는가?

주요 결과

• 무어디화된 가장 빈도가 높은 단어(MFWs)는 모든 데이터셋과 분류기에서 어원형 단어보다 뚜렷이 뛰어나며, 통계적으로 유의미한 차이를 보였다(p < 0.00001, 189 및 99편 소설 기준).
• 어원형 단어는 MFWs 대비 최대 약 15%의 성능 격차를 보였으며, 이는 폴란드어에서 어원형 처리가 관련된 스타일리스틱 정보를 제거할 수 있음을 시사한다.
• 품사 태그 n-그램은 어휘적 표식보다 전반적으로 낮은 성능을 보였지만, 강력하고 안정적인 신호를 유지하여, 최악의 특징 구성에서도 최대 F1 스코어의 약 75%에 이를 정도로 높은 정확도를 기록하였다.
• 품사 태그의 경우, 3-그램이 1-그램 및 2-그램보다 뚜렷이 뛰어난 성능을 보였으며, 특히 엄격한 품사 태그 변형에서 두드러졌다. 이는 문법적 순서가 고립된 태그보다 더 높은 분류 능력을 지닌다는 것을 시사한다.
• 전체 품사 태그의 성능은 n-그램 길이에 따라 비교적 평탄하게 유지되었으며, 이는 강건성을 보여주지만 하이퍼파라미터 튜닝에 대한 민감도는 낮음을 의미한다.
• 가장 성능이 열악한 품사 태그 구성조차도 F1 스코어 약 0.75를 기록하여, 문법적 특징 자체가 폴란드어의 저자 식별에 매우 유용하다는 점을 입증하였다.