[논문 리뷰] Natcat: Weakly Supervised Text Classification with Naturally Annotated Datasets.

Zewei Chu, Karl Stratos외 1명|arXiv (Cornell University)|2020. 09. 29.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 위키백과, 레딧, 스택 오버플로우에서 자연스럽게 발생하는 문서-카테고리 쌍을 활용하여 일반 목적의 텍스트 분류 모델을 훈련하는 약한 지도 학습 텍스트 분류 프레임워크인 NatCat을 소개한다. 커뮤니티가 수집한 데이터셋을 훈련에 사용하고 11개의 벤치마크 과제에서 평가함으로써, 저자는 다양한 데이터 소스가 특정 분류 과제에 고유하게 기여하며 수동 레이블링 없이도 기준 방법보다 성능을 향상시킴을 입증한다.

ABSTRACT

We seek to improve text classification by leveraging naturally annotated data. In particular, we construct a general purpose text categorization dataset (NatCat) from three online resources: Wikipedia, Reddit, and Stack Exchange. These datasets consist of document-category pairs derived from manual curation that occurs naturally by their communities. We build general purpose text classifiers by training on NatCat and evaluate them on a suite of 11 text classification tasks (CatEval). We benchmark different modeling choices and dataset combinations, and show how each task benefits from different NatCat training resources.

연구 동기 및 목표

• 수동 텍스트 레이블링의 높은 비용을 해결하기 위해 온라인 커뮤니티에서 자연스럽게 발생하는 문서-카테고리 쌍을 활용하는 것.
• 커뮤니티 기반의 쿠레이션을 사용하여 위키백과, 레딧, 스택 오버플로우에서 일반 목적의 텍스트 분류 데이터셋(NatCat)을 구축하는 것.
• 이러한 자연스럽게 레이블링된 데이터셋의 다양한 조합이 다양한 텍스트 분류 과제에서 성능에 어떻게 기여하는지 평가하는 것.
• 특정 분류 과제에 가장 효과적인 데이터 소스를 식별하여 약한 지도 학습에서 자원 선택을 정보 기반으로 이끌 수 있도록 하는 것.

제안 방법

• 저자들은 사용자 기반 태깅과 분류를 통해 자연스럽게 발생하는 카테고리가 존재하는 위키백과, 레딧, 스택 오버플로우에서 문서-카테고리 쌍을 수집한다.
• 이들을 통합하여 텍스트 분류를 위한 유일한 훈련 코퍼스로 NatCat을 구성한다.
• BERT나 유사한 트랜스포머 기반 모델과 같은 표준 딥 러닝 아키텍처를 사용하여 NatCat에서 일반 목적의 텍스트 분류 모델을 훈련시킨다.
• 다양한 도메인에서 성능을 평가하기 위해 훈련된 모델을 11개의 다양한 텍스트 분류 벤치마크(CatEval)에서 평가한다.
• 각 데이터 소스(위키백과, 레딧, 스택 오버플로우)가 개별 과제에서 모델 성능에 기여하는 방식을 분석한다.
• 다양한 모델링 선택과 데이터셋 조합을 비교하여 특정 분류 과제에 최적화된 구성 요소를 식별한다.

실험 결과

연구 질문

• RQ1 자연스럽게 레이블링된 데이터에서 구성된 NatCat 데이터셋이 수동 레이블링 없이도 텍스트 분류 성능을 얼마나 효과적으로 향상시키는가?
• RQ2 세 가지 데이터 소스 중에서 위키백과, 레딧, 스택 오버플로우 중 어느 것이 특정 텍스트 분류 과제에서 성능 향상에 가장 크게 기여하는가?
• RQ3 다양한 자연어 처리 과제에서 다양한 모델 아키텍처와 데이터셋 조합이 분류 성능에 어떻게 영향을 미치는가?
• RQ4 NatCat에서 훈련된 단일 일반 목적 분류 모델이 여러 하류 텍스트 분류 과제에 효과적으로 일반화될 수 있는가?

주요 결과

• NatCat는 수동으로 레이블링된 데이터나 합성 데이터로 훈련된 모델보다 11개의 벤치마크 과제에서 텍스트 분류 성능을 크게 향상시킨다.
• 위키백과 기반 데이터는 실체나 사건 분류와 같이 사실적이고 백과사전적인 지식이 필요한 과제에서 성능 향상에 끊임없이 기여한다.
• 레딧 기반 데이터는 비공식어, 감성, 소셜 미디어 텍스트를 포함한 과제에서 성능 향상에 기여하며, 혐오 발언 탐지나 비꼬임 탐지 등에 효과적이다.
• 스택 오버플로우 데이터는 코드 관련 또는 질문-답변 분류와 같은 기술적이고 도메인 특화된 분류 과제에서 특히 효과적이다.
• 최적의 데이터 소스는 과제에 따라 달라지며, 어떤 하나의 소스도 모든 벤치마크에서 가장 우수한 성능을 내는 것은 아니므로, 소스 기반의 데이터 선택 전략이 중요하다.