[논문 리뷰] PART: Pre-trained Authorship Representation Transformer

Javier Huertas‐Tato, Alejandro Martı́n외 1명|arXiv (Cornell University)|2022. 09. 30.

Authorship Attribution and Profiling인용 수 4

한 줄 요약

이 논문은 동일 저자로부터의 문서 쌍을 학습 데이터로 사용하여 제로샷 저자 식별 임베딩을 생성하는 대비적 자기지도 학습 모델인 PART (Pre-trained Authorship Representation Transformer)를 제안한다. 이 모델은 250명의 미사용된 저자에 대해 제로샷 정확도 72.39%와 톱-5 정확도 86.73%를 기록하며, 문학, 블로그, 이메일 등 이질적인 훈련 데이터 세트를 활용하여 도메인 외 작문 스타일로도 강력한 일반화 능력을 보여준다.

ABSTRACT

Authors writing documents imprint identifying information within their texts: vocabulary, registry, punctuation, misspellings, or even emoji usage. Previous works use hand-crafted features or classification tasks to train their authorship models, leading to poor performance on out-of-domain authors. Using stylometric representations is more suitable, but this by itself is an open research challenge. In this paper, we propose PART, a contrastively trained model fit to learn extbf{authorship embeddings} instead of semantics. We train our model on ~1.5M texts belonging to 1162 literature authors, 17287 blog posters and 135 corporate email accounts; a heterogeneous set with identifiable writing styles. We evaluate the model on current challenges, achieving competitive performance. We also evaluate our model on test splits of the datasets achieving zero-shot 72.39\% accuracy when bounded to 250 authors, a 54\% and 56\% higher than RoBERTa embeddings. We qualitatively assess the representations with different data visualizations on the available datasets, observing features such as gender, age, or occupation of the author.

연구 동기 및 목표

• 수작업 특징과 지도 학습 모델의 한계를 해결하기 위해 일반화 가능하고 스타일에 민감한 표현을 학습하는 것.
• 微조정 없이 도메인 외 저자에 대해 일반화 가능한 제로샷 기능을 갖춘 모델을 개발하는 것.
• 단어, 문장, 문서 수준에서 통일된 표현 공간을 사용해 일관된 저자 식별 임베딩을 생성하는 것.
• 성별, 연령, 직업, 장르와 같은 스타일적 특징을 정량적·정성적 분석을 통해 학습한 모델의 능력을 평가하는 것.
• 훈련 데이터의 다양성과 레이블 편향이 표현 품질과 모델 일반화 능력에 미치는 영향을 조사하는 것.

제안 방법

• 모델는 문서 쌍을 처리하기 위해 사전 훈련된 트랜스포머 인코더와 LSTM 헤드를 사용한다.
• 동일 저자로부터의 문서 간 임베딩 간余弦 유사도를 최대화하고, 다른 저자로부터의 문서 간 유사도를 최소화함으로써 대비적 학습을 적용한다.
• 손실 함수는 인포NCE 대비 목적 기반으로, 동일 저자 간 유사도와 이질 저자 간 이질성을 최적화한다.
• 문서 수준의 임베딩은 토큰 수준 표현의 평균 풀링을 통해 얻어지며, 다양한 텍스트 길이에서도 일관된 표현을 가능하게 한다.
• 다양한 문체를 반영하기 위해 문학, 익명 블로그, 기업 이메일을 포함한 광범위한 코퍼스에서 사전 훈련된다.
• 최종 저자 식별 임베딩은 의미적 내용과 무관하게 스타일적 특징을 반영하는 학습된 벡터 표현이다.

실험 결과

연구 질문

• RQ1 명시적 레이블 없이도 대비적 자기지도 학습이 저자 특화 표현을 효과적으로 학습할 수 있는가?
• RQ2 학습 데이터에 존재하지 않는 새로운 저자와 작문 스타일로 모델이 얼마나 잘 일반화되는가?
• RQ3 훈련 세트의 데이터 편향이 학습된 저자 식별 임베딩의 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 학습된 임베딩이 성별, 연령, 직업, 장르와 같은 의미 있는 스타일적 특성을 포착할 수 있는가?
• RQ5 다양한 품질과 표현 방식을 가진 저자 식별 데이터셋에서 제로샷 평가 조건에서 모델의 성능은 어떠한가?

주요 결과

• 250명의 새로운 저자에 대한 통합 평가 데이터셋에서 제로샷 정확도 72.39%와 톱-5 정확도 86.73%를 기록하며 강력한 제로샷 일반화 능력을 입증한다.
• 정성적 분석 결과, 임베딩이 저자 및 성별, 연령, 직업, 장르와 같은 스타일적 특징에 따라 군집되어 있어 의미 있는 표현 학습이 이루어졌음을 확인한다.
• 토큰 표현의 평균 풀링 덕분에 다양한 텍스트 길이에서도 문서 수준의 임베딩이 높은 일관성을 유지한다.
• 높은 성능에도 불구하고, 훈련 데이터에서 과도하게 표현된 레이블(예: 문학에서의 소설, 블로그에서의 학생 신분)에 대한 편향을 보이며, 이는 데이터 표현이 임베딩 품질에 영향을 준다는 것을 시사한다.
• 시퀀스 길이 제한으로 인해 장거리 스타일적 의존성을 포착하기 위해 더 긴 컨텍스트가 필요함으로써 성능이 제한된다.
• 저자들이 더 다양한 훈련 데이터—특히 과학 논문과 에세이 등 표현이 부족한 도메인에서의 데이터—를 포함할 경우 모델의 강건성과 일반화 능력 향상에 필수적임을 밝혔다.