[논문 리뷰] The GINCO Training Dataset for Web Genre Identification of Documents Out in the Wild

Taja Kuzman, Peter Rupnik외 1명|arXiv (Cornell University)|2022. 01. 11.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 자동 장르 식별을 위한 수작업로 표시된 슬로베니아어 웹 코퍼스인 GINCO 1.0을 소개한다. 이 코퍼스는 1,125건의 문서(650,000단어)로 구성되어 있으며, 레이블 명확성과 높은 이면자 간 일치도를 강조하는 새로운 체계를 특징으로 한다. 실험 결과, 트랜스포머 기반 모델(예: SloBERTa, XLM-RoBERTa)은 약 0.58의 매크로 F1 스코어를 기록하여 비-트랜스포머 모델(~0.22)을 크게 앞서며, 레이블 클래스 수를 21개에서 12개로 줄이면 매크로 F1이 0.668로 향상된다.

ABSTRACT

This paper presents a new training dataset for automatic genre identification GINCO, which is based on 1,125 crawled Slovenian web documents that consist of 650 thousand words. Each document was manually annotated for genre with a new annotation schema that builds upon existing schemata, having primarily clarity of labels and inter-annotator agreement in mind. The dataset consists of various challenges related to web-based data, such as machine translated content, encoding errors, multiple contents presented in one document etc., enabling evaluation of classifiers in realistic conditions. The initial machine learning experiments on the dataset show that (1) pre-Transformer models are drastically less able to model the phenomena, with macro F1 metrics ranging around 0.22, while Transformer-based models achieve scores of around 0.58, and (2) multilingual Transformer models work as well on the task as the monolingual models that were previously proven to be superior to multilingual models on standard NLP tasks.

연구 동기 및 목표

• 슬로베니아어와 같이 자원이 적은 언어에 적합한 웹 문서의 자동 장르 식별을 위한 현실적이고 고품질의 학습 데이터셋을 개발하기 위해.
• 기계 번역, 인코딩 오류, 하이브리드 장르 등의 웹 기반 데이터 도전 과제를 해결하기 위해 정제된 수작업로 표시된 코퍼스를 제공하기 위해.
• 레이블 명확성과 높은 이면자 간 일치도(Krippendorff’s alpha = 0.71)에 초점을 맞춘 체계 설계를 통해 장르 애너테이션 신뢰도를 향상시키기 위해.
• 실제로 노이즈가 있는 웹 환경에서 장르 분류에 다양한 신경망 아키텍처의 성능을 평가하기 위해.
• 슬로베니아어와 함께 크로아티아어 및 영어로 데이터셋을 확장하여 향후 다국어 장르 식별을 가능하게 하기 위해.

제안 방법

• 목적, 형식, 어휘문법적 특징을 통합한 새로운 장르 분류 체계를 적용하여 슬로베니아어 웹 문서 1,125건을 수작업으로 애너테이션한다. 이는 레이블 명확성과 이면자 간 일치도 향상에 기여한다.
• 기존의 두 개의 슬로베니아어 웹 코퍼스에서 샘플링하여 GINCO 1.0 데이터셋을 구성하며, 기계 번역된 콘텐츠, 인코딩 오류, 다중장르 문서와 같은 실제 세계의 노이즈를 유지한다.
• 두 단계의 데이터 필터링을 적용한다: 근접한 중복 문단을 제거하고, 각 문서에서 주로 사용되는 장르 레이블만 유지하여 모델의 일반화 능력을 향상시킨다.
• 최종 데이터셋에서 CNN 기반 모델, 단일언어 모델(SloBERTa), 다국어 모델(XLM-RoBERTa)을 포함한 다양한 모델을 훈련하고 평가한다.
• 레이블 수를 줄이는 실험을 통해 21개의 레이블을 12개로 통합함으로써 자원이 적은 클래스의 성능 향상을 목표로 한다.
• 성능 차이의 유의성을 검증하기 위해 통계적 검정(Mann-Whitney U 검정)을 수행한다.

실험 결과

연구 질문

• RQ1 새로운 장르 분류 체계는 웹 문서의 레이블 명확성을 유지하면서도 높은 이면자 간 일치도를 달성할 수 있는가?
• RQ2 다양한 신경망 아키텍처는 현실적이고 노이즈가 있는 웹 코퍼스에서 장르 분류에 어떻게 성능을 발휘하는가?
• RQ3 장르 레이블 수를 줄이면 특히 자원이 적은 카테고리에서 분류 성능이 향상되는가?
• RQ4 근접한 중복 문단과 다중장르 문서는 모델 성능에 얼마나 부정적인 영향을 미치는가?
• RQ5 다국어 모델은 슬로베니아어와 같이 자원이 적은 언어에서 장르 식별 작업에서 단일언어 모델과 비슷한 성능을 낼 수 있는가?

주요 결과

• 트랜스포머 이전 모델은 약 0.22의 매크로 F1 스코어를 기록하여 복잡한 웹 장르에 대해 모델링 능력이 제한되어 있어 GINCO 데이터셋에서 성능이 열악하다고 판단된다.
• 트랜스포머 기반 모델, 즉 단일언어 모델인 SloBERTa와 다국어 모델인 XLM-RoBERTa 모두 약 0.58의 매크로 F1 스코어를 기록하여 이 작업에 대해 문맥 기반 표현의 필요성을 입증한다.
• 레이블 수를 21개에서 12개로 줄이면 매크로 F1이 0.575에서 0.668로 유의미하게 향상되며(p < 0.001), 특히 '법률/규정' 및 '기타'와 같은 저자원 클래스에서 유의미한 개선이 이루어진다.
• 혼동 행렬 분석 결과, 레이블 수 감소 후 클래스 간 분리가 더 명확해지고 오분류가 감소한 것으로 나타났으며, 특히 '홍보' 및 '기타' 카테고리에서 두드러진다.
• 마이크로 F1은 21개 레이블일 때 0.629에서 12개 레이블일 때 0.696으로 향상되었으며, Mann-Whitney U 검정을 통해 통계적으로 유의미한 차이가 있음을 확인했다(p < 0.001).
• 연구 결과, 원본 데이터의 10.9%가 모호성이나 복잡성으로 인해 장르 식별에 부적합하다고 판단되었으며, 이는 다중장르 문서의 보다 나은 전처리 또는 자동 분할 기법이 필요함을 시사한다.