[논문 리뷰] A Cross-Genre Ensemble Approach to Robust Reddit Part of Speech Tagging

Shabnam Behzad, Amir Zeldes|arXiv (Cornell University)|2020. 04. 29.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 레딧의 비공식적이고 사용자 생성 콘텐츠에서 품사 태깅의 강건성을 향상시키기 위해 크로스 장르 앙상블 접근법을 제안한다. 다양한 장르에서 훈련한 최신 기술의 Flair 모델을 사용하고, 단일 장르 태거를 메타분류기로 조합함으로써, 레딧에서 최신 기술 성능을 달성한다. 이는 소규모 내영역 데이터가 더 큰 외부 영역 코퍼스보다도 성능이 뛰어나다는 것을 보여준다.

ABSTRACT

Part of speech tagging is a fundamental NLP task often regarded as solved for high-resource languages such as English. Current state-of-the-art models have achieved high accuracy, especially on the news domain. However, when these models are applied to other corpora with different genres, and especially user-generated data from the Web, we see substantial drops in performance. In this work, we study how a state-of-the-art tagging model trained on different genres performs on Web content from unfiltered Reddit forum discussions. More specifically, we use data from multiple sources: OntoNotes, a large benchmark corpus with 'well-edited' text, the English Web Treebank with 5 Web genres, and GUM, with 7 further genres other than Reddit. We report the results when training on different splits of the data, tested on Reddit. Our results show that even small amounts of in-domain data can outperform the contribution of data an order of magnitude larger coming from other Web domains. To make progress on out-of-domain tagging, we also evaluate an ensemble approach using multiple single-genre taggers as input features to a meta-classifier. We present state of the art performance on tagging Reddit data, as well as error analysis of the results of these models, and offer a typology of the most common error types among them, broken down by training corpus.

연구 동기 및 목표

• 레딧과 같은 비공식적이고 사용자 생성 웹 콘텐츠에 적용했을 때 최신 기술의 POS 태거 성능 저하 문제를 해결한다.
• 내영역 훈련 데이터(레딧)가 다른 웹 장르에서 온 더 큰 외부 영역 코퍼스보다 성능이 뛰어나지 않는지 조사한다.
• 장르별 태거를 입력 특징으로 사용하는 앙상블 접근법을 개발하고 평가하여 도메인 일반화 능력을 향상시킨다.
• 다양한 코퍼스에서 훈련된 모델의 오류 패턴을 분석하여, 레딧에서의 POS 태깅에서 공통적인 실패 원인을 규명한다.
• 향후 도메인 적응형 POS 태깅 향상을 위한 가이드라인을 제공하기 위해 훈련 코퍼스별 오류 유형 체계를 수립한다.

제안 방법

• OntoNotes(정제된 텍스트), 영문 웹 트리뱅크(5개의 웹 장르), GUM(레딧 포함 7개 추가 장르) 등 다양한 코퍼스에서 Flair 시퀀스 태깅 프레임워크를 미세조정한다.
• 각 코퍼스에서 별도의 단일 장르 POS 태거를 훈련시어 동일한 레딧 테스트 세트에 대한 개별 예측을 생성한다.
• 이 장르별 태거의 예측 결과를 메타분류기의 입력 특징으로 사용하여 최종 공감 태그 예측으로 통합한다.
• 각 장르별 태거의 기여도를 평가하기 위해 아블레이션 연구를 수행한다.
• 유니버설 디펜던시 기반의 계층적 태깅 체계를 사용하여 다양한 언어적 구조 간 일관성을 확보한다.
• 모델 출력을 골드 표준 애너테이션과 비교하여 오류 분석을 수행하고, 오류 유형과 훈련 코퍼스별로 오류를 분류한다.

실험 결과

연구 질문

• RQ1 소규모 내영역 레딧 데이터가 다른 웹 장르에서 온 훨씬 더 큰 외부 영역 코퍼스보다 POS 태깅 성능을 크게 향상시킬 수 있는가?
• RQ2 최신 기술의 POS 태거가 뉴스레터나 정제된 텍스트 코퍼스와 비교해 레딧의 비공식적이고 노이즈가 많은 텍스트에 적용되었을 때 성능이 얼마나 떨어지는가?
• RQ3 장르별 태거의 앙상블이 단일 모델 기반 모델 대비 레딧에서의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 레딧에서의 POS 태깅에서 가장 흔한 오류 유형은 무엇이며, 이는 훈련 코퍼스에 따라 어떻게 달라지는가?
• RQ5 어느 장르별 태거가 앙상블 모델의 성능 향상에 가장 효과적으로 기여하는가?

주요 결과

• 내영역 레딧 훈련 데이터의 소량조차도 다른 웹 장르에서 온 훨씬 더 큰 코퍼스로 훈련된 모델보다 성능이 뛰어나다.
• 다양한 장르별 태거의 예측 결과를 사용하는 앙상블 모델이 레딧 POS 태깅에서 최신 기술 성능을 달성한다.
• 오류 분석 결과, 어휘에 없는 단어(OOV), 비공식적 약어, 비표준 대문자 사용이 태깅 오류의 주요 원인임을 규명했다.
• OntoNotes와 비교해 GUM과 영문 웹 트리뱅크에서 훈련된 태거는 레딧에서 더 높은 오류율을 보이며, 장르 불일치 효과를 시사한다.
• 메타분류기가 개별 태거보다 오류율을 크게 감소시켰으며, 특히 희귀하거나 모호한 품사 태그에 대해 유의미한 개선 효과가 있었다.
• 공통적인 오류 유형은 고유명사, 동사, 기능어의 잘못된 분류이며, 이는 사용된 훈련 코퍼스에 따라 고유한 패턴을 보였다.