[논문 리뷰] Selective Question Answering under Domain Shift

Amita Kamath, Robin Jia외 1명|arXiv (Cornell University)|2020. 06. 16.

Topic Modeling참고 문헌 52인용 수 5

한 줄 요약

이 논문은 도메인 분포 변화 상황에서 선택적 질문 응답을 제안하며, 이는 QA 모델이 도메인 외(Input) 입력에서 회피해야 하며 同시에 높은 정확도를 유지해야 한다는 것을 의미한다. 모델이 도메인 외 입력에서 과도하게 자신감을 가지는 것을 보정하기 위해 내도메인 및 알려진 도메인 외 데이터로 훈련된 校정기(_CALIBRATOR_)를 도입하여, 80% 정확도에서 56.1%의 커버리지 달성 — MaxProb 및 기타 기준선 대비 뚜렷한 승리.

ABSTRACT

To avoid giving wrong answers, question answering (QA) models need to know when to abstain from answering. Moreover, users often ask questions that diverge from the model's training data, making errors more likely and thus abstention more critical. In this work, we propose the setting of selective question answering under domain shift, in which a QA model is tested on a mixture of in-domain and out-of-domain data, and must answer (i.e., not abstain on) as many questions as possible while maintaining high accuracy. Abstention policies based solely on the model's softmax probabilities fare poorly, since models are overconfident on out-of-domain inputs. Instead, we train a calibrator to identify inputs on which the QA model errs, and abstain when it predicts an error is likely. Crucially, the calibrator benefits from observing the model's behavior on out-of-domain data, even if from a different domain than the test data. We combine this method with a SQuAD-trained QA model and evaluate on mixtures of SQuAD and five other QA datasets. Our method answers 56% of questions while maintaining 80% accuracy; in contrast, directly using the model's probabilities only answers 48% at 80% accuracy.

연구 동기 및 목표

• 실세계 구현에서 흔한 도메인 외(OOD) 입력에서 QA 모델이 오류를 범하는 문제에 대응한다.
• 표준 신뢰도 추정이 실패하는 도메인 외 데이터에서 특히 불확실할 경우 모델이 응답을 회피할 수 있도록 선택적 예측을 향상시킨다.
• 소량의 알려진 도메인 외 데이터만을 사용하여도 알려지지 않은 도메인 외 분포로 일반화 가능한 프레임워크를 개발한다.
• 훈련 데이터로 사용된 알려진 도메인 외 데이터가 테스트 도메인 외 분포와 다를지라도, 다양한 도메인 외 데이터로 훈련된 캘리브레이터가 내도메인 데이터로만 훈련된 것보다 우수한 성능을 보임을 입증한다.
• 혼합된 내도메인 및 도메인 외 입력을 효과적으로 처리할 수 있는 실용적인 솔루션을 제공한다.

제안 방법

• SQuAD와 같은 내도메인 데이터 전용으로 QA 모델을 훈련하여 기초 모델을 확립한다.
• 내도메인 및 알려진 도메인 외 데이터의 혼합 데이터로 별도의 캘리브레이터 — 랜덤 포레스트 분류기 — 를 훈련하여 주어진 입력에서 QA 모델이 정확할 가능성이 있는지 예측한다.
• 모델의 소프트맥스 출력값과 입력 특징을 캘리브레이터의 입력으로 사용하며, 예측된 오류 확률 기반으로 응답 회피를 위한 임계값을 학습한다.
• 내도메인 및 알려지지 않은 도메인 외 데이터의 균일한 혼합으로 구성된 테스트 세트에 캘리브레이션된 시스템을 적용하며, 캘리브레이터가 높은 오류 확률을 예측할 경우 모델이 응답을 회피한다.
• 응답된 질문들에 대해 80% 정확도를 유지하면서 커버리지를 극대화할 수 있도록 응답 회피 임계값을 최적화한다.
• 테스트 도메인 외 데이터와 다른 분포를 가진 알려진 도메인 외 데이터를 사용함으로써 일반화 능력을 향상시키며, 이는 테스트 도메인 외 데이터가 알려지지 않은 상태에서도 유효하다.

실험 결과

연구 질문

• RQ1 알려진 도메인 외 데이터로 훈련된 캘리브레이터가 질문 응답에서 알려지지 않은 도메인 외 데이터에 대해 선택적 예측 성능을 향상시킬 수 있는가?
• RQ2 도메인 외 입력에서 모델의 과도한 자신감은 MaxProb와 같은 표준 신뢰도 기반 응답 회피 방법에 어떤 영향을 미치는가?
• RQ3 테스트 데이터와 다른 분포를 가진 도메인 외 데이터를 사용해도 도메인 분포 변화 상황에서 캘리브레이터 성능 향상에 기여하는가?
• RQ4 내도메인 대비 도메인 외 데이터 비율이 다양할 경우, 캘리브레이터의 성능은 MaxProb와 어떻게 비교되는가?
• RQ5 테스트 분포가 알려지지 않았고 훈련 도메인 외 데이터와 다를 경우, 캘리브레이터는 도메인 외 데이터로 얼마나 잘 일반화되는가?

주요 결과

• 제안된 캘리브레이터는 SQuAD와 알려지지 않은 도메인 외 데이터로 구성된 혼합 테스트 세트에서 80% 정확도에서 56.1%의 커버리지를 달성하며, MaxProb가 같은 조건에서 48.2%의 커버리지 뿐이므로 뚜렷한 승리이다.
• MaxProb는 내도메인 데이터만 존재할 땐 잘 작동하지만, 혼합 환경에서는 도메인 외 입력에서 모델의 과도한 자신감으로 인해 성능이 떨어진다.
• 내도메인 및 알려진 도메인 외 데이터의 혼합으로 캘리브레이터를 훈련하면, 알려지지 않은 도메인 외 분포로의 일반화 능력이 향상되며, 이는 알려진 도메인 외 데이터가 테스트 도메인 외 데이터와 다른 도메인에서 유래한 경우에도 마찬가지로 성립한다.
• 테스트 세트가 내도메인 및 도메인 외 데이터의 균형 임계값일 경우 캘리브레이터가 MaxProb를 가장 크게 앞서며, 순수 내도메인 또는 순수 도메인 외 데이터일 경우 성능 격차는 줄어든다.
• 알려지지 않은 도메인 외 데이터 접근이 가능한 테스트 세트에서 캘리브레이터는 AUC 17.87을 달성했고, MaxProb는 16.35를 기록했다. 다만 이 설정은 테스트 도메인 외 분포에 사전 지식이 있다고 가정하므로 주요 초점은 아니다.
• 이 방법은 분포 변화에 강건하며 알려지지 않은 도메인 외 데이터로 효과적으로 일반화되며, 다른 도메인에서 온 도메인 외 데이터 역시 여전히 유의미한 캘리브레이션 신호를 제공함을 입증한다.