[논문 리뷰] Can NLI Models Verify QA Systems' Predictions?

Jifan Chen, Eunsol Choi외 1명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling참고 문헌 59인용 수 4

한 줄 요약

이 논문은 자연어 추론(NLI) 모델을 활용하여 질문-답변(QA) 시스템 예측의 정확성을 검증하는 새로운 프레임워크를 제안한다. QA 인스턴스를 질문 변환과 비맥락화를 통해 전제-가설 쌍으로 변환함으로써, QA 모델의 캘리브레이션을 향상시키고 잘못된 이유로 정답을 도출한 경우를 식별한다. 선택적 예측 설정에서 F1 점수 향상 폭이 최대 5.5 포인트에 이르며, 성능 향상이 가능하다.

ABSTRACT

To build robust question answering systems, we need the ability to verify whether answers to questions are truly correct, not just "good enough" in the context of imperfect QA datasets. We explore the use of natural language inference (NLI) as a way to achieve this goal, as NLI inherently requires the premise (document context) to contain all necessary information to support the hypothesis (proposed answer to the question). We leverage large pre-trained models and recent prior datasets to construct powerful question converter and decontextualization modules, which can reformulate QA instances as premise-hypothesis pairs with very high reliability. Then, by combining standard NLI datasets with NLI examples automatically derived from QA training data, we can train NLI models to judge the correctness of QA models' proposed answers. We show that our NLI approach can generally improve the confidence estimation of a QA model across different domains, evaluated in a selective QA setting. Careful manual analysis over the predictions of our NLI model shows that it can further identify cases where the QA model produces the right answer for the wrong reason, or where the answer cannot be verified as addressing all aspects of the question.

연구 동기 및 목표

• 분포 변화나 유사 패턴으로 인해 유사해 보이지만 잘못된 답변을 도출하는 QA 시스템의 취약성을 해결하기 위해.
• NLI를 검증 메커니즘으로 사용하여 정확한 추론와 잘못된 추론를 구분함으로써 QA 모델의 신뢰도 캘리브레이션을 향상시키기 위해.
• NLI 기반 검증이 QA 모델이 부족하거나 관련 없는 맥락을 바탕으로 정답을 도출한 경우를 탐지할 수 있는지 조사하기 위해.
• 혼합 데이터셋(자동으로 생성된 QA 유래 NLI 예제 포함)으로 훈련된 NLI 모델이 도메인 외 QA 일반화와 얼마나 호환되는지 평가하기 위해.
• NLI의 함의 기준을 활용하여 질문과 지원 맥락 간의 정보 불일치를 분리함으로써 명시적인 오류 분석을 가능하게 하기 위해.

제안 방법

• 질문-맥락-답변 삼중항을 두 단계 파이프라인(질문 변환 및 비맥락화)을 통해 전제-가설 NLI 쌍으로 변환한다.
• 질문을 진술문으로 변환하는 데에 강력한 미세튜닝된 T5 모델을 사용하여 가설 구성 품질을 향상시킨다.
• 맥락의 문장을 재작성하여 문서 지원 없이도 독립적으로 유지되도록 하되 의미적 정합성을 유지한다.
• 표준 NLI 데이터셋(SNLI, MNLI 등)과 QA 훈련 데이터에서 유도된 자동 생성 NLI 쌍을 조합하여 대규모 NLI 데이터셋을 구축한다.
• 전체 데이터셋으로 NLI 모델을 훈련하여 전제와 가설 간의 함의, 모순, 중립 관계를 예측한다.
• 훈련된 NLI 모델을 검증기로 활용하여 기초 QA 모델의 예측을 재정렬하거나 재캘리브레이션하며, 특히 저신뢰도 또는 도메인 외 설정에서 효과를 발휘한다.

실험 결과

연구 질문

• RQ1 NLI 모델이 지원 맥락에 의해 답변이 논리적으로 함의되는지 평가함으로써 QA 시스템 예측을 효과적으로 검증할 수 있는가?
• RQ2 QA 유래 NLI 예제를 통합함으로써 NLI 기반 검증의 일반화 및 캘리브레이션 능력이 도메인 외 QA 데이터셋에서 얼마나 향상되는가?
• RQ3 맥락이 불완전할 경우 NLI 모델의 함의 판단이 질문의 실제 정보 요구사항과 얼마나 잘 일치하는가?
• RQ4 NLI 검증 파이프라인의 실패 유형은 원래 QA 모델의 오류와 어떻게 다를까?
• RQ5 NLI 검증 프레임워크는 QA 모델이 잘못된 또는 부분적인 추론에 기반해 정답을 도출한 경우를 탐지할 수 있는가?

주요 결과

• 선택적 예측 설정에서 기초 QA 모델의 F1 점수는 81.6에서 87.1로 향상되었으며, 이는 가장 확신도가 높은 상위 20%의 예측에서 성과를 보였다.
• 비맥락화 및 질문 변환 모듈이 파이프라인 성능에 핵심적인 역할을 하며, 이 단계에서 발생하는 오류는 전체 NLI 모델 오류의 소수에 불과하다.
• 약 10%에서 15%의 검증 실패 원인이 부족한 맥락에서 기인하며, 핵심 정보가 누락되었을 경우 모델이 자주 잘못 판단함을 시사한다.
• 수동 분석 결과, NLI 모델이 QA 모델이 잘못된 이유로 정답을 도출한 경우를 성공적으로 식별함을 확인했으며, 특히 전제가 가설을 뒷받침할 수 있는 정보를 완전히 포함하지 못한 경우에 효과적이다.
• 표준 NLI 데이터셋과 자동 생성된 QA 유래 NLI 예제를 병합함으로써, 도메인 외부로의 일반화 능력이 향상된 더 견고한 검증기가 만들어졌으며, 도메인 내 QA 데이터만에 의존하는 경우보다 우수한 성능을 보였다.
• 이 방법은 명시적인 오류 국소화를 가능하게 하여, 유효한 추론에 기반한 정답과 부분적 또는 잘못된 증거에 기반한 정답을 구분할 수 있도록 시스템 설계자에게 도움을 준다.