[논문 리뷰] Attention-Guided Answer Distillation for Machine Reading Comprehension

Minghao Hu, Yuxing Peng외 5명|arXiv (Cornell University)|2018. 08. 23.

Topic Modeling참고 문헌 29인용 수 14

한 줄 요약

이 논문은 앙상블 기계 읽기 이해(MRC) 모델을 단일 효율적인 학생 모델로 압축하면서도 정확도를 향상시키기 위해 주의력 가이드형 답변 디스틸리케이션을 제안한다. 일반 지식 디스틸리케이션, 답변 디스틸리케이션(혼동스러운 답변을 방지하기 위한 페널티), 주의력 디스틸리케이션(주의력 분포를 일치시키기 위한)을 적용함으로써, 학생 모델은 SQuAD에서 F1 점수 0.4% 하락만으로도 12배 빠른 추론 성능을 달성했으며, 적대적 SQuAD 및 NarrativeQA 벤치마크에서 모두 교사 모델을 능가하는 성능을 보였다.

ABSTRACT

Despite that current reading comprehension systems have achieved significant advancements, their promising performances are often obtained at the cost of making an ensemble of numerous models. Besides, existing approaches are also vulnerable to adversarial attacks. This paper tackles these problems by leveraging knowledge distillation, which aims to transfer knowledge from an ensemble model to a single model. We first demonstrate that vanilla knowledge distillation applied to answer span prediction is effective for reading comprehension systems. We then propose two novel approaches that not only penalize the prediction on confusing answers but also guide the training with alignment information distilled from the ensemble. Experiments show that our best student model has only a slight drop of 0.4% F1 on the SQuAD test set compared to the ensemble teacher, while running 12x faster during inference. It even outperforms the teacher on adversarial SQuAD datasets and NarrativeQA benchmark.

연구 동기 및 목표

• 최신 MRC 시스템이 다수의 모델 앙상블에 의존함에 따라 효율성이 떨어지고 적대적 공격에 취약한 문제를 해결하기 위해.
• 앙상블 모델을 단일 효율적이고 강건한 학생 모델로 압축하기 위한 지식 디스틸리케이션의 방법을 탐구하기 위해.
• 교사 모델이 혼동스러운 답변에 대해 과도하게 자신감 있는 예측을 내릴 경우, 이를 학생 모델이 잘못 유도하는 편향된 디스틸리케이션을 완화하기 위해.
• 출력 분포 외에도 주의력 기반 일치 및 오답 유도자 인식 감독을 전달함으로써 학생 모델의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 앙상블 교사 모델의 소프트 레이블 분포와 단일 학생 모델 간의 교차 엔트로피를 최소화하여 일반 지식 디스틸리케이션을 적용한다.
• 교사 모델이 가장 강력한 오답 후보를 예측한 바탕으로, 가장 혼동스러운 답변 스파이크에 대해 학생 모델의 예측을 페널티 부여하는 답변 디스틸리케이션을 도입한다.
• 교사와 학생 모델 간의 주의력 분포를 평균 제곱오차를 사용해 일치시키는 주의력 디스틸리케이션을 제안하여, 일치성과 해석 가능성 향상에 기여한다.
• 앙상블 모델의 주의력 맵과 답변 경계 확률을 활용해 학생 모델의 훈련을 안내함으로써 효율성과 강건성을 모두 향상시킨다.
• 출력 디스틸리케이션, 답변 디스틸리케이션, 주의력 디스틸리케이션의 세 가지 디스틸리케이션 구성 요소를 통합된 훈련 목표로 조합한다.
• 답변 스파이크에 대한 교차 엔트로피 손실, 혼동스러운 답변에 대한 마진 손실, 주의력 일치에 대한 MSE 손실의 가중 조합을 사용해 학생 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 지식 디스틸리케이션은 앙상블 MRC 모델을 성능을 유지하면서도 단일 모델로 압축하는 데 효과적으로 작용할 수 있는가?
• RQ2 교사 모델이 의미적으로 모순되는 오답 후보에 대해 과도하게 자신감 있게 예측하는 편향된 디스틸리케이션 문제는 디스틸리케이션 과정에서 어떻게 완화될 수 있는가?
• RQ3 주의력 디스틸리케이션을 통해 교사 모델의 일치 패턴을 전달함으로써 학생 모델의 일반화 능력 향상이 가능할까?
• RQ4 디스틸리케이션은 특히 분포 외부 설정에서 적대적 예제에 대한 강건성을 향상시키는가?
• RQ5 단일 디스틸리케이션 모델이 효율성과 강건성 측면에서 원래의 앙상블 교사 모델을 능가할 수 있는가?

주요 결과

• 최적의 학생 모델은 SQuAD 테스트 세트에서 앙상블 교사 모델 대비 F1 점수 0.4% 하락만을 보이며, 추론 시 12배 빠른 속도를 달성한다.
• 디스틸리케이션된 학생 모델은 적대적 SQuAD 데이터셋에서 교사 모델을 능가하여, 적대적 예제에 대한 강건성이 향상됨을 보였다.
• NarrativeQA 벤치마크에서 학생 모델은 블루-1 점수에서 교사 모델을 초월하여, 오픈 도메인 질문에 대한 생성 품질이 더 뛰어나다는 것을 시사한다.
• 답변 디스틸리케이션은 학생 모델이 혼동스러운 답변 스파이크에 대해 자신감을 줄여주어, 편향된 교사 신호로 인한 과도한 잘못된 예측을 방지한다.
• 주의력 디스틸리케이션은 질문과 문단 토큰 간의 일치 능력을 향상시켜 더 정확하고 해석 가능한 주의력 패턴을 만들어낸다.
• 세 가지 디스틸리케이션 구성 요소의 조합이 가장 뛰어난 종합 성능을 보였으며, 출력, 혼동스러운 답변, 주의력에서 온 상호보완적 감독이 모델의 일반화 능력을 향상시킨다는 것을 입증한다.