[논문 리뷰] Open-Domain Conversational Question Answering with Historical Answers

Hung-Chieh Fang, Kuo-Han Hung외 2명|arXiv (Cornell University)|2022. 11. 17.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 역사적 답변을 직접 입력 신호로 통합함으로써 밀도 높은 검색과 답변 생성을 향상시키는 새로운 개방형 대화형 질문 응답 프레임워크인 ConvADR-QA를 제안한다. 독자 모델이 예측한 답변을 활용해 문장 검색을 향상시킴으로써, 추출형 및 생성형 설정에서 OR-QuAC 벤치마크에서 새로운 최고 성능을 달성하였으며, 역사적 답변이 검색 및 답변 정확도에 크게 기여함을 입증한다.

ABSTRACT

Open-domain conversational question answering can be viewed as two tasks: passage retrieval and conversational question answering, where the former relies on selecting candidate passages from a large corpus and the latter requires better understanding of a question with contexts to predict the answers. This paper proposes ConvADR-QA that leverages historical answers to boost retrieval performance and further achieves better answering performance. In our proposed framework, the retrievers use a teacher-student framework to reduce noises from previous turns. Our experiments on the benchmark dataset, OR-QuAC, demonstrate that our model outperforms existing baselines in both extractive and generative reader settings, well justifying the effectiveness of historical answers for open-domain conversational question answering.

연구 동기 및 목표

• 검색 과정에서 역사적 답변을 명시적 신호로 통합함으로써 개방형 대화형 질문 응답을 향상시키는 것.
• 다중 전환 대화 시스템에서 역사적 질문에만 의존할 경우 의미적 연속성을 포착하지 못할 수 있는 한계를 해결하는 것.
• 수백만 개의 후보 문장이 존재하는 개방형 환경에서 밀도 높은 검색이 필수적인 상황에서 검색 성능을 향상시키는 것.
• 단지 질문뿐 아니라 예측된 답변까지도 효과적인 감독 신호로 사용할 수 있음을 입증하는 것.
• 간단하면서도 효과적인 설계를 통해 추출형 및 생성형 답변 생성 설정에서 최고 성능을 달성하는 것.

제안 방법

• 모델는 문장 검색 과정에서 예측된 역사적 답변을 쿼리 표현에 통합함으로써 밀도 높은 검색을 확장한다.
• 이중 단계 파이프라인을 사용한다: 첫 번째로, 역사적 답변이 포함된 쿼리를 사용해 밀도 높은 검색기가 관련 문장을 검색한다; 두 번째로, 검색된 문장에서 답변을 예측하는 독자 모델(추출형 또는 생성형)이 작동한다.
• 독자 모델(예: BERT 기반 추출형 독자 또는 FiD 기반 생성형 QA)은 답변을 생성하며, 이는 다음 턴의 검색에 입력 신호로 사용된다.
• 독자 모델의 출력을 활용해 검색기의 입력을 개선함으로써 지식 정착 원리를 적용하여, 답변 신호를 효과적으로 앞으로 전파한다.
• 복잡한 그래프 구조나 추가 파라미터를 피하고, 예측된 답변을 검색 쿼리에 직접 통합함으로써 간단한 접근을 취한다.
• 기존 강력한 베이스라인(예: ORConvQA 및 FiD)과 호환되어 즉시 통합 가능한 개선 효과를 낼 수 있다.

실험 결과

연구 질문

• RQ1 역사적 답변은 개방형 대화형 질문 응답에서 문장 검색 성능을 향상시킬 수 있는가?
• RQ2 예측된 답변을 입력 신호로 통합할 경우, 단지 역사적 질문에 의존하는 것보다 더 나은 답변 생성 성능을 달성할 수 있는가?
• RQ3 예측된 답변의 품질이 전체 검색 및 답변 성능에 어떤 영향을 미치는가?
• RQ4 복잡한 방법들(예: 그래프 가이드된 검색)보다 단순한 답변 신호 통합 방식이 더 우수한 성능을 낼 수 있는가?
• RQ5 저품질의 답변 예측에서 기인하는 오류 전파 현상이 검색 효율성에 어떤 영향을 미치는가?

주요 결과

• ConvADR-QA는 추출형 및 생성형 QA 설정 모두에서 OR-QuAC 벤치마크에서 새로운 최고 성능을 달성하였다.
• 모델는 모든 베이스라인 대비 검색 MRR@5 및 답변 생성 메트릭에서 승리하며, 역사적 답변을 검색 신호로 사용하는 것이 효과적임을 입증하였다.
• 단지 역사적 질문을 사용하는 베이스라인 대비 예측된 답변을 사용함으로써 검색 성능이 향상되었으며, MRR@5가 뚜렷이 증가하였다.
• 정답 역사적 답변을 사용하는 오라클 설정은 예측된 답변보다 더 높은 성능을 기록하였으며, 답변 품질이 검색 성공에 직접적인 영향을 미침을 확인하였다.
• 오류 전파 현상이 관찰되었다: 약한 독자 모델(FiD 등)을 사용할 경우 검색 성능이 저하되었으며, 이는 답변 품질이 검색 정확도에 영향을 미침을 시사한다.
• 정성적 분석 결과, 역사적 답변이 답변 예측에 직접적인 영향을 미치며, ConvADR-QA는 이전 응답과 일치하는 정확한 답변을 생성하는 반면, ConvDR는 일관성을 유지하지 못하는 경향이 있었다.