[논문 리뷰] Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims

Kevin Meng, Damian Jimenez외 4명|arXiv (Cornell University)|2020. 02. 18.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 9

한 줄 요약

이 논문은 검증가치 있는 사실적 진술을 탐지하기 위한 최초의 적대적 정규화가 적용된 트랜스포머 기반의 진술 탐지 모델을 제안하며, ClaimBuster 및 CLEF2019 데이터셋에서 이전 모델 대비 4.70 F1 점수 향상으로 최신 기술 수준(SOTA) 성능을 달성한다. 이 방법은 BERT 기반 아키텍처를 사용한 진술 분류 작업에서 강건성과 일반화 능력을 향상시키기 위해 기울기 기반 적대적 훈련을 적용한다.

ABSTRACT

We present a study on the efficacy of adversarial training on transformer neural network models, with respect to the task of detecting check-worthy claims. In this work, we introduce the first adversarially-regularized, transformer-based claim spotter model that achieves state-of-the-art results on multiple challenging benchmarks. We obtain a 4.70 point F1-score improvement over current state-of-the-art models on the ClaimBuster Dataset and CLEF2019 Dataset, respectively. In the process, we propose a method to apply adversarial training to transformer models, which has the potential to be generalized to many similar text classification tasks. Along with our results, we are releasing our codebase and manually labeled datasets. We also showcase our models' real world usage via a live public API.

연구 동기 및 목표

• 대규모 텍스트 스트림에서 검증가치 있는 사실적 진술을 식별하기 위해 딥러닝 기반의 성능 향상.
• 진술 탐지 시스템에서 모델의 강건성과 일반화 능력 부족 문제 해결.
• 자연어 이해 작업에서 트랜스포머 기반 모델에 특화된 새로운 적대적 훈련 프레임워크 개발.
• 커뮤니티 연구를 지원하기 위해 공개 접근이 가능한 고품질의 데이터셋과 코드베이스 제공.
• 실제 환경에 적용 가능한 진술 탐지 모델의 구현 가능성을 높이기 위해 실시간 공개 API 제공.

제안 방법

• 트랜스포머 모델에 특화된 기울기 기반 적대적 훈련 방법을 제안하며, 입력의 변형을 통해 강건성을 향상시킴.
• 입력 임bedding에 대한 기울기 상승을 통해 생성된 적대적 예제를 사용해 BERT 기반 아키텍처를 진술 탐지 데이터에 맞추어 미세조정.
• 의미를 유지하면서 입력 토큰을 변형시켜 적대적 진술을 생성하는 데이터 증강 전략 도입.
• 사전 훈련(일반 NLP 작업)과 이후 적대적 미세조정(검증가치 있는 진술 분류)을 포함한 이중 단계 훈련 프로세스 적용.
• 표준 교차 엔트로피 손실와 적대적 손실를 조합한 손실 함수를 사용해 모델의 일반화 능력과 강건성을 최적화.
• 적대적 훈련 중 레이블 스무딩과 드롭아웃을 적용해 모델의 정규화를 강화하고 과적합 방지.

실험 결과

연구 질문

• RQ1 적대적 훈련은 트랜스포머 기반 모델의 진술 탐지 작업에서 성능과 강건성 향상에 기여하는가?
• RQ2 적대적 정규화는 자원이 제한되거나 노이즈가 많은 진술 데이터셋에서 일반화에 어떤 영향을 미치는가?
• RQ3 적대적으로 훈련된 트랜스포머 모델이 벤치마크 기반의 검증가치 있는 진술 탐지 데이터셋에서 비적대적 기반 모델을 얼마나 뛰어넘는가?
• RQ4 적대적 훈련은 사실적 진술 탐지에서 동의어 치환 및 의미적 변형에 대한 취약성을 완화하는가?
• RQ5 제안된 방법은 정치 토론 및 뉴스 콘텐츠와 같은 다양한 도메인에서 어떻게 확장 가능한가?

주요 결과

• 제안된 적대적 훈련을 거친 트랜스포머 모델은 이전 최신 기술 수준(SOTA) 대비 ClaimBuster 데이터셋에서 F1 점수 4.70 포인트 향상 달성.
• CLEF2019 벤치마크에서 F1 점수 0.5181을 기록하며, 이는 이전 최고 성능 모델(CB-BBA) 대비 0.0604 F1 포인트 향상.
• 비적대적 기반 모델 대비 적대적 변형, 특히 동의어 치환에 대해 뛰어난 강건성을 보여줌.
• 적대적 훈련의 적용으로 CLEF2019 평가에서 검색 및 분류 작업 모두 mAP 및 nDCG 점수가 향상됨.
• 희귀 및 흔한 진술 유형 모두에서 높은 정밀도와 재현율 유지를 보이며 균형 잡힌 성능 유지.
• 코드베이스 및 수동으로 애너테이션된 데이터셋의 공개는 자동화된 진술 탐지 분야의 커뮤니티 연구를 가속화할 것으로 기대됨.