[논문 리뷰] Detecting Satire in the News with Machine Learning

Andreas Stöckl|arXiv (Cornell University)|2018. 10. 01.

Humor Studies and Applications참고 문헌 11인용 수 3

한 줄 요약

이 논문은 주요 및 풍자 매체에서 온 약 60,000건의 독일어 기사 코퍼스를 대상으로 로지스틱 회귀와 선형 서포트 벡터 머신(SVM)을 사용하여 뉴스의 풍자를 탐지하기 위한 기계학습 접근법을 제안한다. 훈련 데이터에 포함된 출판사에 대해 테스트한 결과 정밀도 98.7%, 재현율 95.2%로 높은 성능을 기록하지만, 훈련 중에 보이지 않은 출판사에 대해 테스트했을 경우 정확도가 88.2%로 떨어지고 F1 스코어는 76.3%로 하락하여 출판사 특성에 의존하는 경향이 드러남.

ABSTRACT

We built models with Logistic Regression and linear Support Vector Machines on a large dataset consisting of regular news articles and news from satirical websites, and showed that such linear classifiers on a corpus with about 60,000 articles can perform with a precision of 98.7% and a recall of 95.2% on a random test set of the news. On the other hand, when testing the classifier on "publication sources" which are completely unknown during training, only an accuracy of 88.2% and an F1-score of 76.3% are achieved. As another result, we showed that the same algorithm can distinguish between news written by the news agency itself and paid articles from customers. Here the results had an accuracy of 99%.

연구 동기 및 목표

• 텍스트 콘텐츠만을 사용하여 풍자 기사와 사실 기사를 구분하는 기계학습 모델을 개발하는 것.
• 모델이 풍자 탐지에 언어적 패턴을 기반으로 하는지, 아니면 출판사 특성에 기반하는지 평가하는 것.
• 훈련 중에 포함되지 않은 뉴스 출판사에서의 모델 일반화 성능을 평가하는 것.
• 동일한 뉴스 기관에서 나온 편집 기사와 유료 광고 콘텐츠를 구분할 수 있는지 모델 능력을 평가하는 것.
• 수동으로 설계된 언어적 특징 없이도 대규모 훈련 코퍼스가 분류기 성능에 미치는 영향을 규명하는 것.

제안 방법

• 주요 및 풍자 매체에서 온 60,000건의 독일어 뉴스 기사 코퍼스를 대상으로 로지스틱 회귀와 선형 서포트 벡터 머신(SVM)을 훈련함.
• 소문자로 변환한 유니그램 및 바이그램 특징을 사용하며, 80% 이상의 문서에 등장하는 단어는 제거하고, 최소 20회 이상 등장하는 단어만 유지함.
• 로지스틱 회귀에는 C=1,000, SVM에는 C=100을 사용한 L2 정규화를 적용하였으며, 과적합을 방지하기 위해 비선형 커널은 사용하지 않음.
• 전체 코퍼스에서 80/20 훈련-테스트 분할을 수행하고, 완전히 새로운 출판사에 대한 별도 평가도 실시함.
• 기존의 정지어 필터링을 생략하고 고빈도어절을 제거함으로써 TF-IDF 벡터화를 적용함.
• 내부 도메인 및 외부 도메인 테스트 세트에서 정밀도, 재현율, F1 스코어, 혼동 행렬을 사용해 성능을 평가함.

실험 결과

연구 질문

• RQ1 대규모 독일어 뉴스 코퍼스를 기반으로 훈련된 선형 분류기가 텍스트 특징만을 사용해 풍자 기사 탐지에 높은 정확도를 달성할 수 있는가?
• RQ2 모델이 풍자 탐지에 언어적 신호보다 출판사 특성에 얼마나 의존하는가?
• RQ3 훈련 데이터에 포함되지 않은 출판사의 뉴스에 대해 모델 성능이 어떻게 저하되는가?
• RQ4 동일한 뉴스 기관에서 나온 편집 기사와 유료 광고 콘텐츠를 동일한 모델이 구분할 수 있는가?
• RQ5 복잡한 특징 엔지니어링 없이도 훈련 데이터 크기를 늘리면 성능 향상이 상당히 이루어지는가?

주요 결과

• 11,892건의 정규 기사와 882건의 풍자 기사로 구성된 무작위 테스트 세트에서, 모델은 정확도 99.6%, 정밀도 98.7%, 재현율 95.2%, F1 스코어 96.9%를 기록함.
• 완전히 새로운 출판사(정규 매체인 'Kleine Zeitung'과 풍자 매체인 'Die Tagespresse' 제외)에 대해 테스트한 결과, 정확도는 88.2%로 하락하고 F1 스코어는 76.3%로 떨어짐.
• 여섯 개의 다른 출판사 기사 출처를 98.4% 정확도로 분류함으로써, 모델가 출판사 특성에 크게 의존하고 있음을 시사함.
• 'Pressetext Austria'에서 나온 유료 광고 기사와 편집 기사 간 분류에서 99% 정확도를 기록함.
• 비선형 SVM 커널(RBF 및 시그모이드)은 과적합으로 인해 실패했고, 높은 C 값(100–1,000)을 가진 선형 모델이 최적의 성능을 보임.
• 훈련 데이터 크기가 일정 임계값을 초과하면 F1 스코어가 약 85%로 정체되며 성능 향상의 수익 감소 현상이 나타남.