[논문 리뷰] Text Classification of Manifestos and COVID-19 Press Briefings using BERT and Convolutional Neural Networks

Kakia Chatsiou|arXiv (Cornell University)|2020. 10. 20.

Computational and Text Analysis Methods참고 문헌 34인용 수 7

한 줄 요약

이 논문은 사전에 애너테이션된 선거 공보를 활용하여 BERT 향상된 CNN을 사용한 전이학습 접근법을 제안하여 텍스트 내 정치적 논의를 분류한다. 이는 코로나19 기자회견 자료의 문장들을 자동으로 분류하는 데에 활용된다. 연구 결과 BERT+CNN은 다른 임베딩(Word2Vec, GloVe, ELMo)보다 두 도메인 모두에서 성능이 뛰어나며, 미세조정 없이도 선거 공보에서 87.52%의 정확도, 기자회견 자료에서 68.65%의 정확도를 기록하여 정치 텍스트 분류에서 효과적인 제로샷 도메인 전이를 입증한다.

ABSTRACT

We build a sentence-level political discourse classifier using existing human expert annotated corpora of political manifestos from the Manifestos Project (Volkens et al., 2020a) and applying them to a corpus ofCOVID-19Press Briefings (Chatsiou, 2020). We use manually annotated political manifestos as training data to train a local topic ConvolutionalNeural Network (CNN) classifier; then apply it to the COVID-19PressBriefings Corpus to automatically classify sentences in the test corpus.We report on a series of experiments with CNN trained on top of pre-trained embeddings for sentence-level classification tasks. We show thatCNN combined with transformers like BERT outperforms CNN combined with other embeddings (Word2Vec, Glove, ELMo) and that it is possible to use a pre-trained classifier to conduct automatic classification on different political texts without additional training.

연구 동기 및 목표

• 기존의 인간 애너테이션된 정치 선거 공보를 기반으로 문장 수준의 정치적 논의 분류기를 개발하기 위해.
• 다양한 사전 학습된 단어 임베딩(Word2Vec, GloVe, ELMo, BERT)을 사용한 CNN의 정치 텍스트 분류 성능을 평가하기 위해.
• 선거 공보에서 사전에 학습된 분류기가 추가 학습 없이도 다른 정치 텍스트 도메인인 코로나19 기자회견 자료를 효과적으로 분류할 수 있는지 조사하기 위해.
• 다른 정치 텍스트 유형 간에서 전이학습의 일반화 능력을 정치적 논의 분석에 적용할 수 있는지 평가하기 위해.

제안 방법

• 수동으로 애너테이션된 영문 정치 선거 공보(Manifestos Project)를 기반으로 현지 주제 컨볼루션 신경망(CNN)을 학습시켰다.
• CNN의 문장 수준 분류에 사용하기 위해 사전 학습된 네 가지 단어 임베딩 모델(Word2Vec, GloVe, ELMo, BERT)을 입력 표현으로 사용하였다.
• 코로나19 기자회견 자료 코퍼스에 동일한 사전 학습된 CNN 모델을 미세조정 없이 그대로 적용하였으며, 선거 공보에서의 원본 학습 데이터만을 사용하였다.
• 선거 공보와 기자회견 자료 코퍼스 양쪽에서 각 임베딩 유형의 CNN 성능을 비교하기 위해 4개의 실험을 수행하였다.
• 과적합을 방지하고 견고한 평가를 확보하기 위해 보류된 개발 세트와 테스트 세트를 사용하였다.
• 각 도메인에서 임베딩 유형 간 성능을 비교하기 위해 정확도와 F1-스코어를 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 선거 공보에서 학습된 CNN 분류기가 추가 학습 없이도 코로나19 기자회견과 같은 다른 정치 텍스트 도메인의 문장을 효과적으로 분류할 수 있는가?
• RQ2 다양한 사전 학습된 단어 임베딩(Word2Vec, GloVe, ELMo, BERT)을 사용할 때 CNN의 성능은 정치 논의 분류에서 어떻게 달라지는가?
• RQ3 컨텍스트 기반 임베딩인 BERT를 사용할 경우 비컨텍스트 기반 임베딩보다 정치 텍스트 분류 과제에서 성능 향상이 뚜렷한가?
• RQ4 선거 공보와 기자회견 간의 도메인 이동이 제로샷 전이학습 접근법의 성능에 어느 정도 영향을 미치는가?

주요 결과

• BERT+CNN 모델은 정치 선거 공보 코퍼스에서 가장 높은 정확도(87.52%)와 F1-스코어(74.68%)를 기록하였으며, Word2Vec, GloVe, ELMo를 사용한 모델들보다 유의미하게 뛰어난 성능을 보였다.
• 코로나19 기자회견 자료 코퍼스에서는 BERT+CNN 모델이 68.65%의 정확도와 64.58%의 F1-스코어를 기록하여 강력한 제로샷 전이 성능을 입증하였다.
• ELMo+CNN는 양호한 성능을 보였으며, 선거 공보에서 72.84%의 정확도, 기자회견 자료에서 60.74%의 정확도를 기록하여 비트랜스포머 기반 임베딩 외의 모델 중 뛰어난 성능을 보였다.
• BERT+CNN와 다른 모델 간의 성능 격차는 기자회견 자료 코퍼스에서 가장 두드러졌으며, 이는 BERT가 도메인 이동에 대해 뛰어난 강건성을 지닌다는 것을 강조한다.
• 결과적으로 사전 학습된 BERT 임베딩은 선거 공보에서 기자회견 자료로의 효과적인 제로샷 도메인 전이를 가능하게 하여 새로운 도메인에서의 고비용 수동 애너테이션의 필요성을 줄였다.
• 이 연구는 전문가가 애너테이션한 선거 공보를 학습 데이터로 사용한 전이학습이 다양한 정치 논의 텍스트를 분류하는 데 있어 실현 가능하고 확장 가능한 접근법임을 보여준다.