[논문 리뷰] In Situ Answer Sentence Selection at Web-scale

Zeyu Zhang, Thuy Vu외 1명|arXiv (Cornell University)|2022. 01. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 웹 스케일 오픈 도메인 질의 응답을 위한 새로운 인-사이트 답변 문장 선택 프레임워크인 PEASI를 제안한다. 이 프레임워크는 다중 작업 기반 트랜스포머 기반 모델을 사용해 상위 랭킹된 문장들에서 직접 답변 문장을 추출하면서 문장과 문서를 동시에 재순서한다. 기존의 점별 모델 대비 정확도가 6.51% 향상되어 55.37%에 도달했으며, 추론 비용은 약 80% 감소시켰다. 이는 80만 개 이상의 레이블이 부여된 웹 기반 QA 데이터셋을 활용한 결과이다.

ABSTRACT

Current answer sentence selection (AS2) applied in open-domain question answering (ODQA) selects answers by ranking a large set of possible candidates, i.e., sentences, extracted from the retrieved text. In this paper, we present Passage-based Extracting Answer Sentence In-place (PEASI), a novel design for AS2 optimized for Web-scale setting, that, instead, computes such answer without processing each candidate individually. Specifically, we design a Transformer-based framework that jointly (i) reranks passages retrieved for a question and (ii) identifies a probable answer from the top passages in place. We train PEASI in a multi-task learning framework that encourages feature sharing between the components: passage reranker and passage-based answer sentence extractor. To facilitate our development, we construct a new Web-sourced large-scale QA dataset consisting of 800,000+ labeled passages/sentences for 60,000+ questions. The experiments show that our proposed design effectively outperforms the current state-of-the-art setting for AS2, i.e., a point-wise model for ranking sentences independently, by 6.51% in accuracy, from 48.86% to 55.37%. In addition, PEASI is exceptionally efficient in computing answer sentences, requiring only ~20% inferences compared to the standard setting, i.e., reranking all possible candidates. We believe the release of PEASI, both the dataset and our proposed design, can contribute to advancing the research and development in deploying question answering services at Web scale.

연구 동기 및 목표

• 모든 후보를 개별적으로 처리하는 기존의 답변 문장 선택(AS2) 파이프라인에서 발생하는 비효율성과 성능 저하 문제를 해결하기 위해.
• 점별 모델링의 한계를 극복하기 위해, 문서 수준의 의미 정보를 忽시하는 점별 모델링 방식이 최적의 답변 선택을 방해한다는 점을 해결하기 위해.
• 후보 문서 순서 정하기를 위한 추론 횟수를 최소화하여 웹 스케일 AS2의 계산 비용을 줄이기 위해.
• 웹 스케일 오픈 도메인 QA를 위한 전처리에서부터 문서 검색, 재정렬, 답변 선택까지의 신호를 포괄하는 새로운 대규모 종단 간 QA 데이터셋(WQA)을 개발하기 위해.
• 다중 작업 학습을 통해 문서 재정렬과 답변 문장 추출을 동시에 최적화함으로써 효율성과 효과성을 모두 향상시키기 위해.

제안 방법

• 동일한 입력 문서에서 문서 재정렬기(Pr)와 인-사이트 답변 문장 추출기(EASI)를 동시에 학습하는 트랜스포머 기반 다중 작업 학습 프레임워크를 설계한다.
• 문장 수준의 순서 정렬이 아닌 문서 수준의 재정렬을 수행함으로써 평가 대상이 되는 문장 수를 줄인다.
• 문서의 의미적 특성을 활용해 상위 문서에서 가장 가능성이 높은 답변 문장을 직접 식별하는 다중 분류기 아키텍처를 구현한다.
• 공유된 표현을 통해 두 모듈을 종단 간으로 학습함으로써 특징 공유와 공동 최적화를 유도한다.
• CommonCrawl에서 확보한 3000만 개의 문서에서 유래한 6만 4천 개 이상의 질문, 80만 개 이상의 레이블이 부여된 문장과 문서를 포함한 대규모 웹 기반 QA 데이터셋(WQA)을 구축한다.
• 문서 재정렬을 위한 표준 최적화 기법을 사용하면서도, 정답이 포함될 가능성이 높은 문서를 우선순위로 삼는 데 특화된 모델을 설계한다.

실험 결과

연구 질문

• RQ1 모든 후보 문장을 개별적으로 평가하는 점별 순서 정렬 방식과 비교해, 상위 랭킹된 문서에서 직접 답변을 선택하는 인-사이트 답변 문장 선택 방식이 정확도 향상에 기여하는가?
• RQ2 답변 선택 과정에서 문서 수준의 의미 정보를 활용할 경우, 문장 수준의 모델링 방식보다 성능이 향상되는가?
• RQ3 문서 재정렬과 답변 추출을 동시에 수행하는 다중 작업 학습이 웹 스케일 오픈 도메인 QA에서 효율성과 효과성을 동시에 향상시키는가?
• RQ4 모든 후보 문장에 대해 점별 추론을 수행하지 않음으로써 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 인간이 레이블링한 답변 문장을 포함한 대규모 웹 기반 QA 데이터셋에서 PEASI 프레임워크의 성능은 얼마나 뛰어난가?

주요 결과

• PEASI는 기존의 최고 수준의 점별 모델 대비 정확도를 6.51% 향상시켜 48.86%에서 55.37%로 상승시켰다.
• 표준 점별 AS2 대비 추론 비용을 약 81.4% 감소시켜, 전체 추론 횟수의 약 20%만으로도 처리할 수 있었다.
• 문서 수준의 맥락을 활용함으로써, 문장을 독립적으로 다루는 모델보다 뛰어난 성능을 보였다.
• 3000만 개의 문서에서 유래한 80만 개 이상의 레이블이 부여된 문장과 문서를 포함한 새로운 WQA 데이터셋은 인-사이트 AS2 시스템의 효과적인 학습과 평가를 가능하게 했다.
• 실패 분석 결과, PEASI는 'due to'와 같은 어휘 패tern에 의존하는 점별 모델의 일반적인 함정을 피하고, 의미적 정확성에 더 중점을 두는 것으로 나타났다.
• 다중 작업 학습 아키텍처는 문서 재정렬과 답변 추출 간 효과적인 특징 공유를 가능하게 하여 전체 시스템의 강건성을 향상시켰다.