[논문 리뷰] Contextual Aware Joint Probability Model Towards Question Answering System

Yang Liu, Lijing Song|arXiv (Cornell University)|2019. 04. 17.

Topic Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 SQuAD 2.0에서 답변 가능성과 스파닝 예측의 공동 사후확률을 명시적으로 모델링하기 위해 새로운 공동 확률 예측기와 함께 하이브리드 BERT-BiDAF 모델을 제안한다. 이 방법은 인위적인 '답변 없음' 토큰을 피하기 위해 표준 방법보다 향상된 추론을 보이며, 테스트 리더보드에서 F1 스코어 75.842%와 EM 스코어 72.24%를 기록한다.

ABSTRACT

In this paper, we address the question answering challenge with the SQuAD 2.0 dataset. We design a model architecture which leverages BERT's capability of context-aware word embeddings and BiDAF's context interactive exploration mechanism. By integrating these two state-of-the-art architectures, our system tries to extract the contextual word representation at word and character levels, for better comprehension of both question and context and their correlations. We also propose our original joint posterior probability predictor module and its associated loss functions. Our best model so far obtains F1 score of 75.842% and EM score of 72.24% on the test PCE leaderboad.

연구 동기 및 목표

• SQuAD 2.0에 포함된 50,000개의 답변 불가능 질문들 중에서 답변 가능 질문과 구분하는 데 도전하는 것. 이 질문들은 답변 가능한 것처럼 모의된 것으로 설계되어 있다.
• 기존 모델이 인위적인 '답변 없음' 토큰에 의존하고 스파닝 예측에 대해 암묵적인 가정을 하는 데서 비롯되는 한계를 극복하는 것.
• 답변 가능성과 스파닝 예측 간의 인과관계를 더 자연스럽고 확률적으로 일관된 방식으로 모델링하는 공동 확률 프레임워크를 개발하는 것.
• BERT의 단어 수준 문맥 임베딩과 BiDAF의 문자 수준 주의 메커니즘을 조합함으로써 표현 학습과 모델 성능 향상에 기여하는지 탐구하는 것.

제안 방법

• BERT의 문맥 기반 단어 임베딩과 BiDAF의 양방향 주의 메커니즘을 통합하여, 단어 수준 및 문자 수준의 문맥 인식 표현을 모두 캡처하는 하이브리드 인코더를 구축한다.
• 이진 답변 가능성 변수 A와 시작/종료 스파닝 변수 X₁, X₂의 공동 분포를 모델링하는 공동 사후확률 예측기 제안.
• 공동 확률 구조에 부합하는 커스터마이즈드 손실 함수를 설계하여, 표준 스파닝 예측 손실 함수의 한계를 피한다.
• BiDAF의 주의 흐름 레이어를 사용해 문자 수준에서 질문 인식 문맥 표현을 생성함으로써 질문과 문맥 간의 상호작용을 강화한다.
• BERT의 단어 수준 표현과 BiDAF의 문자 수준 특징을 조합하여 서로 다른 해상도에서 표현 간 상호 강화를 가능하게 한다.
• '답변 없음' 특수 토큰을 삽입하지 않고, 대신 확률적 추론을 통해 답변 가능성과 스파닝을 동시에 예측하도록 한다.

실험 결과

연구 질문

• RQ1 스파닝 존재에 대한 답변 가능성의 인과적 의존성을 명시적으로 모델링하는 공동 확률 모델이, 답변 가능성과 분리된 분류 헤드로 간주하는 모델보다 성능이 뛰어나게 되는가?
• RQ2 BERT의 단어 수준 문맥 임베딩과 BiDAF의 문자 수준 주의 메커니즘을 조합함으로써 질문 답변에 대한 표현 학습이 어떻게 향상되는가?
• RQ3 공동 확률 예측을 위한 커스터마이즈드 손실 함수가 SQuAD 2.0에서 표준 엔트로피 기반 손실 함수보다 모델 성능을 더 잘 반영하는가?
• RQ4 단어 수준과 문자 수준 표현 간 상호 강화가 답변 불가능 질문에 대한 일반화 능력 향상에 어느 정도 기여하는가?
• RQ5 인위적인 '답변 없음' 토큰을 피하는 것이 개방형 도메인 질문 답변에서 더 견고하고 해석 가능한 예측을 이끌어내는가?

주요 결과

• 제안된 모델은 SQuAD 2.0 테스트 리더보드에서 F1 스코어 75.842%와 EM 스코어 72.24%를 기록하여 도전적인 벤치마크에서 뛰어난 성능을 보였다.
• 커스터마이즈드 손실 함수를 갖춘 공동 확률 예측기는 표준 방법에 비해 답변 가능성과 스파닝 예측 간 더 조화롭고 인과적으로 일관된 추론을 가능하게 했다.
• 절단 실험 결과, BERT와 BiDAF 특징의 통합이 성능 향상에 기여함을 확인하여 다중 해상도 표현 간 상호 강화의 타당성을 입증했다.
• 특히 'The Men in Black'와 같은 오염자들이 주의 메커니즘을 혼란스럽게 하는 경우, 유효한 스파닝이 존재하지 않는 것을 더 잘 모델링함으로써 답변 불가능 질문에서의 오진을 감소시켰다.
• 핵심 용어가 부재하지만 문맥적으로 암시되는 경우, 기준 모델 대비 더 적은 수의 오진 음성(거짓 음성)을 보이며, 특히 'status'와 같은 키워드가 없는 경우 유의미한 개선을 보였다.
• 강력한 성능에도 불구하고, 모호한 문맥과 정확하지 않은 답변 경계에 대한 도전은 여전히 존재하여, 스파닝 정위치 및 문맥 이해 능력 향상에 여전히 개선 여지가 있음을 시사한다.