[논문 리뷰] Improving Machine Reading Comprehension via Adversarial Training

Ziqing Yang, Yiming Cui외 4명|arXiv (Cornell University)|2019. 11. 09.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 8

한 줄 요약

이 논문은 기계적 독해(MRC) 모델의 성능 향상을 위해 적대적 훈련(AT)과 가상 적대적 훈련(VAT)을 제안하며, 스파니쉬 기반 및 다중 선택 MRC 과제에서 일관된 성능 향상을 입증한다. AT는 희귀어를 포함한 예시에서 특히 모델의 일반화 능력을 향상시키며, VAT는 타스크 간 데이터를 활용한 효과적인 준지도 학습을 가능하게 하지만, 지식 기반 적대적 예시에 대한 강건성 향상에는 기여하지 않는다.

ABSTRACT

Adversarial training (AT) as a regularization method has proved its effectiveness in various tasks, such as image classification and text classification. Though there are successful applications of AT in many tasks of natural language processing (NLP), the mechanism behind it is still unclear. In this paper, we aim to apply AT on machine reading comprehension (MRC) and study its effects from multiple perspectives. We experiment with three different kinds of RC tasks: span-based RC, span-based RC with unanswerable questions and multi-choice RC. The experimental results show that the proposed method can improve the performance significantly and universally on SQuAD1.1, SQuAD2.0 and RACE. With virtual adversarial training (VAT), we explore the possibility of improving the RC models with semi-supervised learning and prove that examples from a different task are also beneficial. We also find that AT helps little in defending against artificial adversarial examples, but AT helps the model to learn better on examples that contain more low-frequency words.

연구 동기 및 목표

• 다양한 MRC 과제에서 적대적 훈련(AT)의 효과성을 조사하는 것.
• 다른 과제의 예시를 사용할 때에도 MRC에서 준지도 학습을 위한 가상 적대적 훈련(VAT)의 잠재력을 탐색하는 것.
• AT가 인간 지식을 통합한 인위적으로 생성된 적대적 예시에 대해 모델의 강건성을 향상시키는지 평가하는 것.
• AT가 어휘 난이도가 다양한 예시, 특히 희귀어를 포함한 예시에서 모델 성능에 미치는 영향을 분석하는 것.

제안 방법

• AT는 훈련 중 단어 임베딩을 변형시켜 모델의 강건성과 일반화 능력을 향상시키는 방식으로 적용된다.
• VAT는 레이블이 없는 데이터에서 적대적 예시를 생성함으로써 준지도 학습을 가능하게 하며, 서로 다른 과제 간에도 적용 가능하다.
• 기본 모델로 BERT-base와 BERT-large를 사용하며, 스파니쉬 기반, 답변 불가 질문 인식 기반, 다중 선택 MRC 과제에 맞게 미세조정된다.
• 모델 성능은 SQuAD1.1, SQuAD2.0, RACE 데이터셋에서 평가되며, 희귀어 빈도와 적대적 예시 유형에 대한 분석도 함께 수행된다.
• 희귀어 비율(훈련 데이터에서 상위 10,000개로 가장 낮은 빈도)에 따라 어휘 난이도 기반으로 예시를 그룹화하고, 각 그룹별 성능을 분석한다.
• 외부 지식(예: WordNet)을 활용해 인위적인 적대적 예시를 생성하여, 특히 답변 불가 질문에서의 강건성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 스파니쉬 기반 및 다중 선택 독해 과제를 포함한 다양한 유형의 MRC 과제에서 일관되게 성능 향상을 이끌어내는가?
• RQ2 가상 적대적 훈련은 다른 과제의 데이터를 사용할 때에도 MRC에서 효과적인 준지도 학습을 가능하게 하는가?
• RQ3 적대적 훈련이 인간 지식을 통합한 인위적으로 생성된 적대적 예시에 대해 MRC 모델의 강건성을 향상시키는가?
• RQ4 적대적 훈련이 어휘 복잡도가 다양한 예시, 특히 더 많은 희귀어를 포함한 예시에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 적대적 훈련은 평가된 모든 MRC 과제에서 성능 향상을 크게 이끌어내며, SQuAD1.1, SQuAD2.0, RACE에서 일관된 성과를 보여 주어 일반화 능력이 입증된다.
• 가상 적대적 훈련은 효과적인 준지도 학습을 가능하게 하여, 레이블이 없는 데이터, 특히 다른 과제의 예시로부터도 모델 성능 향상을 이끌어내며, 답변 불가 질문 처리 성능 향상에 특히 기여한다.
• 적대적 훈련은 지식 통합된 적대적 예시에 대한 강건성을 향상시키지 못하며, AT로 훈련된 모델는 이러한 예시에서 오직 중간 정도의 상대적 성능 향상만 보이며, 방어 능력이 제한됨을 시사한다.
• 적대적 훈련은 어휘 난이도가 가장 높은 예시에서 상대적인 성능 향상이 가장 크게 나타나며, 특히 희귀어 비율이 0.05를 초과하는 가장 어려운 그룹에서 가장 뚜렷한 향상이 관찰된다.
• AT에 의한 상대적 성능 향상은 답변 가능한 질문보다 답변 불가 질문에서 더 두드러지며, 이는 희귀어 감지 능력이 답변 불가 탐지 과제에서 더 민감함을 시사한다.
• AT의 성능 향상은 어휘 난이도가 높은 예시에서 가장 두드러지며, 가장 어려운 그룹(난이도 >0.05)에서 상대적 향상이 최대 2.2%에 이르며, 특히 답변 불가 질문 탐지 과제에서 두드러진다.