[논문 리뷰] Cost-Sensitive BERT for Generalisable Sentence Classification with Imbalanced Data

Harish Tayyar Madabushi, Elena Kochkina외 1명|arXiv (Cornell University)|2020. 03. 16.

Topic Modeling참고 문헌 23인용 수 6

한 줄 요약

이 논문은 데이터 불균형과 분포 이탈 상황에서 문장 수준의 선전 분류의 일반화 성능을 향상시키기 위해 비용 감안 BERT 프레임워크를 제안한다. 미세조정 중 비용 가중치를 통합하고, 훈련 데이터셋과 테스트 데이터셋 간의 통계적 유사도 측정법을 도입함으로써, Propaganda Techniques Corpus에서 두 번째로 높은 F1 점수(0.4347)를 기록하여 표준 BERT 및 데이터 증강 기법보다 불균형하고 상이한 데이터 분포에서 뛰어난 성능을 보였다.

ABSTRACT

The automatic identification of propaganda has gained significance in recent years due to technological and social changes in the way news is generated and consumed. That this task can be addressed effectively using BERT, a powerful new architecture which can be fine-tuned for text classification tasks, is not surprising. However, propaganda detection, like other tasks that deal with news documents and other forms of decontextualized social communication (e.g. sentiment analysis), inherently deals with data whose categories are simultaneously imbalanced and dissimilar. We show that BERT, while capable of handling imbalanced classes with no additional data augmentation, does not generalise well when the training and test data are sufficiently dissimilar (as is often the case with news sources, whose topics evolve over time). We show how to address this problem by providing a statistical measure of similarity between datasets and a method of incorporating cost-weighting into BERT when the training and test sets are dissimilar. We test these methods on the Propaganda Techniques Corpus (PTC) and achieve the second-highest score on sentence-level propaganda classification.

연구 동기 및 목표

• NLP 작업에서 훈련 데이터와 테스트 데이터가 상이할 경우 모델의 일반화 성능이 떨어지는 문제를 해결하기 위해, 특히 선전 탐지에서의 도전 과제를 다루는 것.
• 기존의 표준 데이터 증강 기법에 의존하지 않고도 불균형 데이터셋에서의 성능을 향상시키는 것.
• 비용 감상성이 가장 유익한 경우를 안내하기 위해 훈련 데이터셋과 테스트 데이터셋 간의 유사도를 정량적으로 측정하는 통계적 측정법을 개발하는 것.
• 클래스별 오분류 비용을 통합하여 BERT가 향후 변화하는 데이터 분포에 더 잘 적응하도록 하는 것.
• 재현 가능성과 비용 감상 미세조정 분야의 향후 연구를 지원하기 위해 코드와 모델을 공개하는 것.

제안 방법

• 클래스 불균형과 예상 오분류 비용을 바탕으로 손실 함수에 클래스별 가중치를 할당하여 BERT에 대한 비용 감상 미세조정 전략을 제안한다.
• 훈련 세트와 테스트 세트 간의 통계적 유사도 측정법(예: 분포 거리 측정 지표 사용)을 도입하여 분포 이탈을 탐지한다.
• 소수 클래스의 오분류를 더 강하게 처벌하기 위해 BERT의 미세조정 중에 비용 가중 교차 엔트로피 손실을 적용한다.
• 유사도 측정법을 활용해 비용 감상성을 적용할지 여부를 결정함으로써, 유사한 데이터셋에서는 불필요한 재가중을 방지한다.
• 문장 수준 및 조각 수준의 분류 작업을 위해 Propaganda Techniques Corpus(PTC)에서 훈련 및 평가를 수행한다.
• 커뮤니티가 방법을 재사용하고 확장할 수 있도록 코드와 Colab 노트북을 공개한다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 테스트 데이터가 상이한데도 불구하고 클래스 불균형이 존재할 경우, 표준 BERT의 미세조정이 일반화 성능을 떨어뜨리는가?
• RQ2 비용 감상 미세조정을 통해 BERT가 불균형하고 분포가 다른 테스트 세트에서 선전 탐지 성능을 향상시킬 수 있는가?
• RQ3 훈련 세트와 테스트 세트 간의 데이터셋 유사도를 정량적으로 측정하는 방법은 무엇이며, 이를 통해 비용 감상성의 적용을 안내할 수 있는가?
• RQ4 데이터 증강이 불균형한 선전 데이터셋에서 BERT의 성능을 향상시키는가, 아니면 비용 감상성이 더 효과적인가?
• RQ5 비용 감상 BERT는 세분화된 선전 탐지 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 표준 데이터 증강 기법은 불균형한 선전 데이터셋에서 BERT의 성능 향상에 기여하지 않으며, 이는 BERT가 본질적으로 클래스 불균형을 잘 처리할 수 있음을 시사한다.
• 제안된 비용 감상 BERT 방법은 문장 수준 분류 작업에서 두 번째로 높은 F1 점수(0.4347)를 기록하여 베이스라인 BERT 및 기타 방법보다 뛰어난 성능을 보였다.
• 조각 수준 분류 작업에서는 F1 점수 0.098969로 7위를 기록하여, 조각 형태의 선전 신호를 다루는 데서 향후 개선 여지가 있음을 시사한다.
• 데이터셋 간의 통계적 유사도 측정법은 특히 주제나 분포가 크게 다를 경우 비용 감상성이 가장 효과적인 상황을 식별하는 데 도움이 된다.
• 공동 과제 참가를 통해 방법의 유효성이 검증되었으며, 실제 적용 가능성과 경쟁력 있는 성능을 입증하였다.
• 저자들은 재현 가능성과 비용 감상 NLP 분야의 향후 연구를 지원하기 위해 코드와 Colab 노트북을 공개하였다.