[논문 리뷰] Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering

Angrosh Mandya, James O’Neill외 2명|arXiv (Cornell University)|2020. 05. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 추론 중 모델이 자신의 예측한 답변에 의존할 때 발생하는 노출 편향(exposure bias)으로 인해 대화형 질문 응답(Conversational Question Answering, CoQA)에서 누적 오류가 발생하는 문제를 다룹니다. 학습 중에 정답과 모델 예측 답변을 동적으로 혼합하는 스케줄링 샘플링 전략을 제안하여, 실제 테스트 환경에서 정답 히스토리가 제공되지 않는 상황에서 성능을 크게 향상시킵니다. 특히 긴 대화나 복잡한 질문 유형에서 F1 점수 최대 5.5%p 향상됨.

ABSTRACT

The Conversational Question Answering (CoQA) task involves answering a sequence of inter-related conversational questions about a contextual paragraph. Although existing approaches employ human-written ground-truth answers for answering conversational questions at test time, in a realistic scenario, the CoQA model will not have any access to ground-truth answers for the previous questions, compelling the model to rely upon its own previously predicted answers for answering the subsequent questions. In this paper, we find that compounding errors occur when using previously predicted answers at test time, significantly lowering the performance of CoQA systems. To solve this problem, we propose a sampling strategy that dynamically selects between target answers and model predictions during training, thereby closely simulating the situation at test time. Further, we analyse the severity of this phenomena as a function of the question type, conversation length and domain type.

연구 동기 및 목표

• 모델 예측 답변을 사용하여 추론할 때 노출 편향이 CoQA 시스템 성능에 미치는 영향을 조사하는 것.
• 이전 질문의 잘못된 예측이 후속 질문의 성능을 악화시키는 누적 오류 문제를 해결하는 것.
• 학습 중에 정답과 예측 답변을 혼합하여 실제 추론 조건을 시뮬레이션하는 학습 전략을 제안하는 것.
• 다양한 질문 유형, 대화 길이, 질문 길이에서 제안된 방법의 효과를 평가하는 것.
• 테스트 시 정답 답변에 접근하지 못하는 조건에서 평가 프로토콜을 재고할 것에 대한 주장을 펼치는 것.

제안 방법

• 감소하는 스케줄에 따라 학습 중에 정답 답변과 모델의 예측 답변 사이에서 동적으로 선택하는 스케줄링 샘플링(Scheduled Sampling, SS)의 변종을 제안.
• 학습 중에 타겟 답변과 모델 예측을 혼합하여, 점차 정답 지도에서 모델 예측으로 전환하는 방식을 사용.
• 이전 에포크의 예측과 현재 모델 출력에서 선택하는 샘플링 전략을 도입하여 노출 편향을 감소.
• 모델 예측 사용 확률이 시간이 지남에 따라 증가하는 커리큘럼 유사 학습 스케줄을 적용.
• 감독 학습과 스케줄링 샘플링을 조합하여 실제 추론 조건에서의 일반화 능력을 향상시키기 위해 모델을 훈련.
• 후속 질문의 컨텍스트로 정답 답변이 아닌 모델 예측 답변만 사용하는 현실적인 테스트 조건에서 성능을 평가.

실험 결과

연구 질문

• RQ1 모델 예측 답변을 정답 답변 대신 추론 중에 사용할 경우 노출 편향이 CoQA 모델 성능에 어떤 영향을 미치는가?
• RQ2 긴 대화에서 특히 그렇듯이 스케줄링 샘플링이 CoQA 시스템의 누적 오류 문제를 완화하는가?
• RQ3 실제 추론 조건에서 다양한 질문 유형(예: 예/아니요, 알 수 없음, 스파니쉬)에 따라 CoQA 모델의 성능은 어떻게 달라지는가?
• RQ4 대화 길이와 질문 길이가 CoQA에서 누적 오류의 심각도에 어떤 영향을 미치는가?
• RQ5 정답 답변이 테스트 시에 제공되지 않을 경우 샘플링 기반 학습 전략이 모델의 강건성을 향상시키는가?

주요 결과

• 추론 중에 모델 예측 답변을 사용할 경우 성능 저하가 심각하게 발생하여, 긴 대화에서 전체 F1 점수가 62.08에서 55.28로 감소함.
• 긴 대화에서 SS[BM, USR]은 CoQAM_SM 대비 전체 F1 점수 5.5%p 향상(60.02 vs. 55.28)을 기록하며, 특히 '아니요' 유형 질문에서 두드러진 성능 향상(59.89 vs. 51.37)을 보임.
• 10단어 이상의 긴 질문에 대해서는 SS[BM, USR]이 F1 점수 62.22를 기록하여 CoQAM_SM(60.24)를 능가함으로써 복잡한 질의에 대한 효과성을 입증함.
• 짧은 대화(<12라운드)에서는 '예' 질문에서 F1 점수 2.76p 향상(73.33 vs. 70.55), '아니요' 질문에서 5.41p 향상(52.70 vs. 47.29)을 기록함.
• CoQAM_MP 모델은 모든 질문 유형에서 CoQAM_SM보다 일관되게 낮은 성능을 보이며 표준 학습 방식에서 노출 편향이 존재함을 확인함.
• 결과는 현재 CoQA 평가 프로토콜가 정답 히스토리를 허용함으로써 모델의 진정된 강건성을 가로막고 있으며, 이를 재고할 필요가 있음을 시사함.