[논문 리뷰] Distant Supervision for Topic Classification of Tweets in Curated Streams

Salman Mohammed, Nimesh Ghelani외 1명|arXiv (Cornell University)|2017. 04. 22.

Misinformation and Its Impacts참고 문헌 5인용 수 5

한 줄 요약

이 논문은 효과적인 트윗 주제 분류기를 훈련하기 위해 주제 중심의 인간이 수작업으로 정리한 트위터 스트림을 활용하여 소음이 많은 주제 레이블을 자동으로 생성하는 새로운 원거리 지도 학습 방법을 제안한다. 이러한 레이블을 기반으로 로지스틱 회귀 모델을 훈련하고 최근 데이터에 가중치를 부여함으로써 높은 분류 성능를 달성한다—주제 변화에 동적으로 적응하고 F1 스코어가 향상되며, 수동 레이블링 없이도 '무료로' 성능을 확보한다.

ABSTRACT

We tackle the challenge of topic classification of tweets in the context of analyzing a large collection of curated streams by news outlets and other organizations to deliver relevant content to users. Our approach is novel in applying distant supervision based on semi-automatically identifying curated streams that are topically focused (for example, on politics, entertainment, or sports). These streams provide a source of labeled data to train topic classifiers that can then be applied to categorize tweets from more topically-diffuse streams. Experiments on both noisy labels and human ground-truth judgments demonstrate that our approach yields good topic classifiers essentially "for free", and that topic classifiers trained in this manner are able to dynamically adjust for topic drift as news on Twitter evolves.

연구 동기 및 목표

• 실시간 콘텐츠 제공을 위한 노이즈가 많고 주제가 산만한 트위터 스트림에서 주제 분류의 과제를 해결하기 위해.
• 기존의 인간이 수작업으로 정리한 주제 중심의 트위터 계정을 약한 지도 학습의 근원으로 활용하여 고비용 수동 레이블링에 대한 의존도를 줄이기 위해.
• 진행 중인 소셜 미디어 콘텐츠의 주제 변화에 동적으로 적응할 수 있는 방법을 개발하기 위해.
• 원거리 지도 학습 데이터의 증가하는 양과 다양한 최신성 수준의 데이터가 분류 성능에 미치는 영향을 평가하기 위해.
• 훈련 인스턴스의 최신성 기반 가중치를 통해 분류기 성능을 향상시키기 위해.

제안 방법

• 원거리 지도 학습을 통해 주제 중심의 트위터 계정(예: @cnn, @ESPN)을 약한 레이블이 부여된 훈련 데이터의 근원으로 식별한다.
• 이러한 수작업으로 정리된 스트림에서 트윗을 수집하고, 스트림의 편집적 주제 기반으로 주제 레이블을 할당함으로써 훈련 데이터셋을 구성한다.
• 자동으로 레이블이 부여된 트윗을 기반으로 로지스틱 회귀 분류기를 훈련시켜 더 일반적이며 주제가 산만한 스트림의 콘텐츠를 분류한다.
• 최근 트윗에 더 높은 가중치를 할당하기 위해 지수 감쇠 함수를 사용하여 훈련 인스턴스의 시간적 가중치를 적용한다(p=10로 파arameter화됨).
• 성능 검증을 위해 노이즈가 있는 레이블(스트림의 주제 기반)과 인간 레이블 기반 참값을 모두 사용하여 모델을 평가한다.
• 훈련 데이터를 시계열적으로 분할하여 데이터 최신성과 양이 분류 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 수작업으로 정리된 주제 중심의 트위터 스트림을 활용한 원거리 지도 학습이 트윗 주제 분류를 위한 훈련 레이블을 효과적으로 생성할 수 있는가?
• RQ2 원거리 지도 학습 데이터의 양이 주제 분류기 성능에 어떤 영향을 미치는가?
• RQ3 주제 변화가 존재하는 상황에서 더 최근 데이터로 훈련할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 최근 훈련 인스턴스에 가중치를 부여하는 것이 분류기 F1 스코어에 측정 가능한 개선을 가져오는가?
• RQ5 노이즈가 있는 레이블의 결과와 인간 레이블 기반 참값의 결과는 어떻게 비교되는가?

주요 결과

• 원거리 지도 학습에서 유도된 더 큰 훈련 데이터셋을 사용할수록 F1, 정밀도, 재현율 스코어가 상승함으로써 분류기 성능이 크게 향상된다.
• 더 최근 데이터로 훈련할 경우 F1 스코어에 일관된 향상이 나타나며, 오래된 데이터를 사용할 경우 주제 변화가 성능에 악영향을 미친다는 것을 시사한다.
• p=10로 설정된 최근성 기반 가중치 적용으로 F1 스코어가 크게 향상되었으며, 인간 레이블 기반 데이터에서 건강 분야 +0.16, 과학 분야 +0.14, 비즈니스 분야 +0.13의 개선을 기록했다.
• 인간 레이블 기반 참값에서 강력한 성능을 달성하였으며, 주제별로 최대 F1 스코어 0.16의 향상이 있었고, 이는 원거리 지도 학습 레이블의 타당성을 확인한다.
• 최신성 인식 훈련을 통해 주제 변화에 효과적으로 대응함을 보여주며, 실시간 뉴스 분류에 적합하다는 것을 시사한다.
• 낮은 자원의 주제인 과학 분야의 경우 비록 발생 빈도가 낮지만, 가중치를 적용한 훈련을 통해 여전히 측정 가능한 성능 향상을 이룩하였으며, F1 스코어가 0.14 향상되었다.