[논문 리뷰] Accenture at CheckThat! 2021: Interesting claim identification and ranking with contextually sensitive lexical training data augmentation

Evan R. Williams, Paul Rodrigues외 1명|arXiv (Cornell University)|2021. 07. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BERT와 RoBERTa를 사용하여 맥락에 민감한 어휘적 데이터 증강 방법을 제안하여 다국어 소셜 미디어에서 사실 확인을 위한 주장 식별 및 순위 매기기 성능을 향상시킨다. 맥락적 임bedding 기반으로 의미적으로 적절한 동의어로 핵심 단어를 대체함으로써, 이 방법은 성능을 크게 향상시켰으며, CLEF 2021 CheckThat! 랩의 아랍어 트랙에서 가장 높은 mAP(0.658)를 기록하여, 훈련 데이터 양에 대한 모델의 민감도와 효과적인 데이터 합성 덕분에 다른 언어들보다 뛰어난 성능을 보였다.

ABSTRACT

This paper discusses the approach used by the Accenture Team for CLEF2021 CheckThat! Lab, Task 1, to identify whether a claim made in social media would be interesting to a wide audience and should be fact-checked. Twitter training and test data were provided in English, Arabic, Spanish, Turkish, and Bulgarian. Claims were to be classified (check-worthy/not check-worthy) and ranked in priority order for the fact-checker. Our method used deep neural network transformer models with contextually sensitive lexical augmentation applied on the supplied training datasets to create additional training samples. This augmentation approach improved the performance for all languages. Overall, our architecture and data augmentation pipeline produced the best submitted system for Arabic, and performance scales according to the quantity of provided training data for English, Spanish, Turkish, and Bulgarian. This paper investigates the deep neural network architectures for each language as well as the provided data to examine why the approach worked so effectively for Arabic, and discusses additional data augmentation measures that should could be useful to this problem.

연구 동기 및 목표

• 자동화된 사실 확인을 위한 다국어 소셜 미디어에서 확인할 만한 주장의 식별 및 순위 매기기 성능 향상.
• 특히 아랍어, 불가리아어, 터키어, 스페인어와 같은 저자원 언어에서 균형 잡히지 않은 훈련 데이터 문제 해결.
• 외부 데이터 소스에 의존하지 않고 맥락 기반 데이터 증강을 통해 모델의 일반화 능력과 성능 향상.
• 맥락 기반 임bedding를 활용한 어휘적 증강이 저자원 NLP 환경에서 무작위 또는 비맥락 기반 증강보다 우월한 성능을 보일 수 있는지 조사.
• 다양한 언어 간 성능 향상과 계산 비용을 균형 잡기 위해 최적의 증강 강도(확률) 도출.

제안 방법

• 모델은 훈련 세트의 확인할 만한 주장에 포함된 단어들에 대해 맥락에 적절한 동의어로 대체할 수 있도록 BERT와 RoBERTa 모델을 활용한다.
• 각 주장에 대해 모델은 토큰 수준의 임베딩 확률을 계산하고, 맥락 분포 하에서 가장 높은 가능성을 가진 대체어를 선택한다.
• 하나의 초모수 p는 토큰 대체 확률을 제어하며, 성능과 계산 비용의 균형을 고려해 추론 실험을 통해 p = 0.1로 설정되었다.
• 증강된 샘플은 원본 훈련 데이터에 동일한 '확인할 만한' 레이블을 부여하여 추가되며, 이로써 양성 클래스의 크기가 증가한다.
• 최종 모델 아키텍처는 미세조정 중 과적합을 방지하기 위해 분류 헤드 이전에 평균 풀링 레이어와 드롭아웃을 포함한다.
• 순위 매기기는 모델의 소프트맥스 출력을 사용하며, 양성 및 음성 클래스 확률의 차이를 기반으로 주장의 우선순위를 정한다.

실험 결과

연구 질문

• RQ1 맥락에 민감한 어휘적 데이터 증강 기법이 사실 확인 작업에서 다양한 저자원 언어의 주장 식별 성능 향상에 기여하는가?
• RQ2 다양한 언어에서 데이터 증강 강도(p)의 수준에 따라 모델 성능이 어떻게 변화하는가?
• RQ3 모든 언어에 동일한 방식으로 증강을 적용했음에도 불구하고 아랍어에서 뛰어난 성능을 기록한 이유는 무엇인가?
• RQ4 맥락 기반 임베딩 기반 증강 기법이 저자원 NLP 환경에서 무작위 또는 비맥락 기반 증강보다 뛰어난 성능을 보일 수 있는가?
• RQ5 훈련 데이터의 양과 분포가 데이터 증강과 결합될 때 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 맥락에 민감한 어휘적 증강 기법은 개발 세트에서 모든 다섯 개 언어(아랍어, 불가리아어, 영어, 스페인어, 터키어)의 '확인할 만한' 클래스에 대해 F1 점수를 향상시켰다.
• 시스템은 CLEF 2021 아랍어 트랙에서 가장 높은 평균 평균 정밀도(mAP) 0.658을 기록하여 대회에서 모든 제출 결과를 압도했다.
• 훈련 데이터 크기와 함께 성능이 선형적으로 향상되었으며, 각각 3,095개의 샘플을 확보한 터키어와 아랍어에서 더 높은 mAP 값이 관찰되었다.
• 불가리아어에서는 mAP 0.497, 스페인어에서는 mAP 0.491을 기록하여 중간 자원 언어에서 뛰어난 성능을 보였다.
• 영어에서는 mAP 0.101로 성능 저하가 발생하여, 기존에 상대적으로 많은 데이터가 확보된 경우 이 기법의 효과가 떨어질 수 있음을 시사했다.
• 추론 실험 결과 p = 0.1가 성능 향상과 계산 비용 간 최적의 균형을 이룬 것으로 확인되었으며, 높은 값은 성능 향상에 대한 수익 감소를 초래했다.