[논문 리뷰] Benchmarking Robustness of Machine Reading Comprehension Models

Chenglei Si, Ziqing Yang외 4명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 36인용 수 14

한 줄 요약

이 논문은 RACE 데이터셋에서 네 가지 적대적 공격—AddSent, CharSwap, Distractor Extraction (DE), Distractor Generation (DG)—에 대한 기계적 읽기 이해(MRC) 모델의 내성에 대한 모델에 종속되지 않는 벤치마크인 AdvRACE를 소개한다. 최신 기술 모델들이 표준 벤치마크에서는 잘 수행되지만, 이러한 공격에 노출되었을 때는 성능이 크게 떨어지며, 이는 심각한 취약성을 드러내고 더 강력한 MRC 모델의 필요성을 강조한다. 저자들은 향후 모델 내성 연구를 지원하기 위해 데이터셋과 코드를 공개한다.

ABSTRACT

Machine Reading Comprehension (MRC) is an important testbed for evaluating models' natural language understanding (NLU) ability. There has been rapid progress in this area, with new models achieving impressive performance on various benchmarks. However, existing benchmarks only evaluate models on in-domain test sets without considering their robustness under test-time perturbations or adversarial attacks. To fill this important gap, we construct AdvRACE (Adversarial RACE), a new model-agnostic benchmark for evaluating the robustness of MRC models under four different types of adversarial attacks, including our novel distractor extraction and generation attacks. We show that state-of-the-art (SOTA) models are vulnerable to all of these attacks. We conclude that there is substantial room for building more robust MRC models and our benchmark can help motivate and measure progress in this area. We release our data and code at https://github.com/NoviScl/AdvRACE .

연구 동기 및 목표

• 기존 MRC 벤치마크가 도메인 내 성능에만 집중하고 테스트 시점의 변형을 忽略하는 바탕으로 내성 평가의 부족을 해결하기 위해.
• 다양한 적대적 공격 하에서 MRC 모델을 평가할 수 있는 종합적이고 이식 가능하며 모델에 종속되지 않는 벤치마크를 개발하기 위해.
• 실제 변형, 특히 새로운 방식의 배제 요소 기반 공격을 포함하여 최신 기술 MRC 모델의 취약성을 식별하고 정량화하기 위해.
• 적대적 훈련이 허위 통계적 신호에 의존할 수 있으며 진정한 이해를 바탕으로 하지 않아 모델 내성의 과대평가를 초래할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 RACE 테스트 세트에 대해 네 가지 적대적 공격—AddSent, CharSwap, Distractor Extraction (DE), Distractor Generation (DG)—를 적용하여 AdvRACE를 구축하였으며, 레이블은 유지하면서 입력 텍스트를 수정하였다.
• 모든 공격은 모델 파라미터에 대한 접근이 필요 없어 모델에 종속되지 않으며, 어떤 MRC 모델이라도 동일한 벤치마크에서 평가가 가능하다.
• Distractor Extraction 및 Distractor Generation는 기존의 오답 선택지를 의미적으로 유사하지만 잘못된 선택지로 대체함으로써 모델의 추론 요구 수준을 높이는 새로운 공격 방식이다.
• 벤치마크는 효율적이고 이식 가능하게 구축되어, 최소한의 수정으로 다른 MRC 데이터셋에 적용할 수 있다.
• 인간이 수행한 품질 제어를 통해 의미가 유지되고 레이블 일관성이 확보된 고정밀도의 적대적 예제를 확보하였다.
• 적대적 훈련은 개별 및 병합된 공격 유형에 대해 평가되어 내성 향상 정도와 허위 패tern에 대한 과적합 여부를 분석하였다.

실험 결과

연구 질문

• RQ1 최신 기술 MRC 모델은 새로운 배제 요소 기반 변형을 포함한 다양한 적대적 공격에서 어떻게 성능을 보이는가?
• RQ2 다양한 공격 유형에 걸쳐 적대적 훈련이 내성을 얼마나 향상시키며, 일반화 가능성은 어떠한가?
• RQ3 적대적으로 훈련된 모델은 진정으로 강력한 표현을 학습하는가, 아니면 데이터 내 허위 통계적 신호를 악용하는가?
• RQ4 제안된 AdvRACE 벤치마크는 모델의 약점을 효과적으로 드러내고 더 강력한 MRC 시스템 개발을 이끌 수 있는가?

주요 결과

• 최신 기술 MRC 모델은 네 가지 적대적 공격에서 최대 30%의 정확도 감소를 겪으며, 내성 부족을 시사한다.
• 단일 공격 유형에 대해 적대적 훈련을 수행하면 해당 공격에 대해서만 성능 향상이 이루어지며, 다른 공격 유형에선 성능 저하가 발생할 수 있다.
• Distractor Extraction (DE)에 대해 적대적 훈련을 수행하면 AddSent 공격에 대해 성능 향상이 이루어져, 어휘 매칭에 대한 의존도 감소를 시사한다.
• 혼합 적대적 훈련은 원본 테스트 세트에서 약간의 성능 저하가 있더라도 모든 공격 유형에서 성능 향상을 이끌어내어 광범위한 내성 향상을 보여준다.
• 진단 실험 결과, AddSent에 대해 적대적으로 훈련된 모델은 진정한 추론이 아닌 허위 패턴(예: 정답 삽입)을 악용함을 확인하였으며, 이는 내성의 과대평가를 초래한다.
• 옵션 전용 훈련 실험 결과, 원본 데이터셋, DE, DG 모두 강력한 허위 통계적 신호를 포함하고 있음을 확인하였으며, 이는 높은 성능이 강력한 이해가 아닌 패턴 악용에서 비롯될 수 있음을 시사한다.