[논문 리뷰] The Importance of Suppressing Domain Style in Authorship Analysis

Sebastian Bischoff, Niklas Deckers외 6명|arXiv (Cornell University)|2020. 05. 29.

Authorship Attribution and Profiling참고 문헌 37인용 수 20

한 줄 요약

이 논문은 저자 분석을 위한 글쓰기 스타일 표현에서 도메인 특화 스타일을 억제하기 위해 도메인 적대적 훈련을 제안하며, 문자 트리그램 특징이 도메인과 저자 스타일을 뒤섞는 데에 크게 기여함을 입증한다. 이 방법은 도메인 전이 상황에서 정확도 저하를 55.4个百分点에서 단 3.6个百分点로 줄여 히وري스틱 특징 선택 기법을 능가하며, 강건하고 도메인에 영향을 받지 않는 저자 분석을 가능하게 한다.

ABSTRACT

The prerequisite of many approaches to authorship analysis is a representation of writing style. But despite decades of research, it still remains unclear to what extent commonly used and widely accepted representations like character trigram frequencies actually represent an author's writing style, in contrast to more domain-specific style components or even topic. We address this shortcoming for the first time in a novel experimental setup of fixed authors but swapped domains between training and testing. With this setup, we reveal that approaches using character trigram features are highly susceptible to favor domain information when applied without attention to domains, suffering drops of up to 55.4 percentage points in classification accuracy under domain swapping. We further propose a new remedy based on domain-adversarial learning and compare it to ones from the literature based on heuristic rules. Both can work well, reducing accuracy losses under domain swapping to 3.6% and 3.9%, respectively.

연구 동기 및 목표

• 문자 트리그램 빈도와 같은 일반적으로 사용되는 글쓰기 스타일 특징이 저자 특화 스타일이 아니라 도메인 특화 스타일을 암묵적으로 포착하는지 여부를 조사하는 것.
• 훈련과 테스트가 서로 다른 도메인에서 이루어질 경우 도메인 스타일이 저자 분석 모델에 얼마나 오염되는지 평가하는 것.
• 특징 학습 중에 도메인 특화 신호를 억제함으로써 도메인에 영향을 받지 않는 글쓰기 스타일 표현을 학습하는 방법을 개발하는 것.
• 히وري스틱 특징 선택 기법과 비교하여 도메인 적대적 훈련이 도메인 편향을 줄이는 데 얼마나 효과적인지 평가하는 것.
• 새로운 장르나 팬픽션의 팬덤과 같은 새로운 도메인으로의 일반화 능력을 검증하는 것.

제안 방법

• 고정된 저자와 교환된 도메인을 가진 새로운 실험 설계를 도입하여 도메인 스타일 간섭을 고립시키는 것.
• 도메인 레이블에 대해 불변인 임베딩을 생성하도록 도메인 적대적 헤드를 갖춘 딥 네ural 네트워크를 사용하는 것.
• 역기울기 반전을 통해 역전파 중에 인코더가 도메인 분류기 정확도를 최소화하면서 동시에 저자 분류 성능을 최대화하도록 훈련하는 것.
• 텍스트에서 글쓰기 스타일 특징을 추출하기 위해 스타일 인코더를 훈련한 후, 입력의 소스 도메인을 예측하는 도메인 식별기(Discriminator)를 사용하는 것.
• 이중 목적 최적화를 통해 적대적 훈련을 적용하는 것: 정확한 저자 분류와 낮은 도메인 예측 성능.
• 히وري스틱 기법과 비교하기 위해 도메인 레이블과의 상관관계가 낮은 특징을 선택하는 방법을 사용하는 것.

실험 결과

연구 질문

• RQ1 저자 분석에서 전통적인 문자 트리그램 특징이 실제로 저자 스타일을 반영하는지, 아니면 도메인 특화 스타일을 반영하는지 어느 정도인지?
• RQ2 표준 특징 세트를 사용할 경우 테스트 도메인이 훈련 도메인과 다를 때 저자 분석 성능이 얼마나 떨어지는가?
• RQ3 도메인 적대적 훈련이 도메인 특화 스타일 신호를 효과적으로 억제하면서도 저자 특화 스타일 표현을 유지할 수 있는가?
• RQ4 히وري스틱 특징 선택 기법과 비교해 도메인 적대적 훈련이 도메인 편향을 줄이는 데 얼마나 효과적인가?
• RQ5 학습된 스타일 표현이 새로운 장르나 팬덤과 같은 새로운 도메인으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 문자 트리그램 기반 모델은 훈련 도메인과 다른 도메인에서 테스트될 경우 저자 분석 정확도가 최대 55.4个百分点 하락하며, 이는 강력한 도메인 스타일 혼합을 시사한다.
• 제안된 도메인 적대적 훈련 방법은 도메인 전이 상황에서 정확도 손실을 단 3.6个百分点로 줄여 표준 특징 기반 모델보다 뚜렷이 뛰어나다.
• 도메인 상관관계가 낮은 특징을 선택하는 히وري스틱 특징 선택 기법 역시 정확도 손실을 3.9个百分点로 줄여 덜 복잡한 구조로도 뛰어난 성능을 보였다.
• 적대적 및 히وري스틱 방법 모두 팬픽션의 새로운 팬덤과 같은 새로운 도메인으로의 일반화 능력이 뛰어나 정확도 약 92%를 달성했다.
• 새로운 저자와 도메인으로 재훈련한 도메인 식별기의 정확도는 인코더 1에서 51.6%로 떨어지고, 인코더 2에서는 49.9%로 떨어져 도메인 정보가 효과적으로 억제됨을 확인했다.
• 본 연구는 전통적인 글쓰기 스타일 표현이 도메인 스타일 간섭에 매우 취약함을 드러내며, 트리그램 빈도가 신뢰성 있게 저자 스타일을 반영한다는 가정에 도전한다.