[논문 리뷰] QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization

Yi‐Ting Yeh, Yun-Nung Chen|arXiv (Cornell University)|2019. 08. 31.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 질문-답변의 강인성을 향상시키기 위해 복잡하고 일반화 가능한 표현을 학습하도록 유도하기 위해 상호정보량 최대화 정규화 기법인 QAInfomax을 제안한다. 수정된 딥 인포맥스 프레임워크를 사용하여 문장, 질문, 답변 간의 상호정보량을 최대화함으로써, 추가 학습 데이터 없이도 적대적 예측에 대한 성능을 크게 향상시키며, Adversarial-SQuAD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Standard accuracy metrics indicate that modern reading comprehension systems have achieved strong performance in many question answering datasets. However, the extent these systems truly understand language remains unknown, and existing systems are not good at distinguishing distractor sentences, which look related but do not actually answer the question. To address this problem, we propose QAInfomax as a regularizer in reading comprehension systems by maximizing mutual information among passages, a question, and its answer. QAInfomax helps regularize the model to not simply learn the superficial correlation for answering questions. The experiments show that our proposed QAInfomax achieves the state-of-the-art performance on the benchmark Adversarial-SQuAD dataset.

연구 동기 및 목표

• 모던 질문-답변 모델이 진정한 이해보다는 훈련 데이터 내의 표면적 상관관계에 의존하는 한계를 해결하기 위해.
• 특히 의미적으로 관련이 있지만 답변과 무관한 간섭 문장에 대한 모델의 강인성을 향상시키기 위해.
• 의미 있는 맥락에 민감한 표현을 학습하도록 유도하는 정규화 기법을 개발하기 위해.
• 추출형 질문-답변에서 표현 학습을 위해 딥 인포맥스 기반의 상호정보량 추정을 자연어 처리(NLP) 도메인에 적용하기 위해.

제안 방법

• QAInfomax는 딥 인포맥스(DIM) 프레임워크를 기반으로 한 신경망 추정기와 함께, 문장, 질문, 답변 간의 상호정보량(MI)을 최대화한다.
• 양성(공동 분포) 및 부정(변량의 곱) 샘플을 구분하기 위한 판별망을 사용하며, 안정적인 MI 추정을 위해 이진 교차 엔트로피 손실을 적용한다.
• 두 가지 제약 조건을 도입한다: 국소 일致성(LC)은 답변 표현을 질문 및 문장과 일치시키고, 전반적 일치성(GC)은 전체 표현을 일치시킨다.
• GC 구성 요소는 표현을 풀링하기 위해 요약 함수(예: 평균, 최대값, 샘플링)를 사용하며, 아키텍처 선택에 대한 강인성을 향상시킨다.
• 정확한 성능 향상을 위해 정방향 및 역방향 MI 항을 모두 포함한 수정된 하한 추정식을 사용한다.
• 표준 교차 엔트로피 손실과 함께 공동 최적화를 통해 BERT 기반 QA 모델에 정규화 기법을 통합하며, 안정성과 성능을 고려해 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 상호정보량 최대화가 적대적 간섭 문장에 대한 질문-답변 모델의 강인성을 향상시키는 데 기여하는가?
• RQ2 MI 기반 정규화가 훈련 데이터 내 표면적 어휘 상관관계에 과적합되는 것을 방지하는 데 도움이 되는가?
• RQ3 기존의 생성 손실 함수와 비교해 QAInfomax는 적대적 벤치마크에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 다양한 MI 추정 전략과 요약 함수의 선택이 모델 성능 및 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• QAInfomax는 Adversarial-SQuAD 데이터셋에서 최신 기술 수준 성능을 달성했으며, AddSent 메트릭에서 54.5 F1 점수, AddOneSent에서 64.9 F1 점수를 기록하여 기존 BERT 및 이전 방법들을 능가했다.
• AddSent에서 BERT의 51.0 점 대비 54.5 점으로 상당한 향상이 있었으며, 이는 가장 악성인 적대적 예측에 대한 저항력 향상을 시사한다.
• 국소 일치성(LC)과 전반적 일치성(GC) 모두 필수적이며, 추론 실험에서 둘 중 하나를 제거하면 성능 저하가 발생함을 확인했다.
• GC에서 평균 요약 함수가 가장 높은 성능를 보였지만, 최대값과 샘플링 방식 역시 경쟁력 있는 성능를 기록하여 아키텍처 선택에 대한 강인성을 입증했다.
• 표준 SQuAD 성능에 영향을 주지 않으면서도 강인성을 향상시켜, 표준 학습 목표와의 호환성을 입증했다.
• GC로 인해 학습 속도가 28% 감소했지만, 적대적 강인성 향상의 성과로 인해 이는 타당한 트레이드오���이었다.