[논문 리뷰] Accelerating Real-Time Question Answering via Question Generation

Yuwei Fang, Shuohang Wang외 4명|arXiv (Cornell University)|2020. 09. 10.

Topic Modeling참고 문헌 46인용 수 10

한 줄 요약

Ocean-Q는 사전에 질문 생성(QG) 모델을 사용해 오프라인으로 대량의 QA 쌍을 생성함으로써 실시간 질의 응답을 가속화한다. 이는 실시간 신경망 인코딩 없이 n-gram 매칭을 통해 온라인 추론을 가능하게 하여, 3~3.8%의 정확도 저하를 감수하고도 기존 가장 빠른 RTQA 시스템 대비 4배 빠른 성능을 달성한다. 이로 인해 계산 및 에너지 비용이 크게 감소하면서도 경쟁력 있는 성능를 유지한다.

ABSTRACT

Although deep neural networks have achieved tremendous success for question answering (QA), they are still suffering from heavy computational and energy cost for real product deployment. Further, existing QA systems are bottlenecked by the encoding time of real-time questions with neural networks, thus suffering from detectable latency in deployment for large-volume traffic. To reduce the computational cost and accelerate real-time question answering (RTQA) for practical usage, we propose to remove all the neural networks from online QA systems, and present Ocean-Q (an Ocean of Questions), which introduces a new question generation (QG) model to generate a large pool of QA pairs offline, then in real time matches an input question with the candidate QA pool to predict the answer without question encoding. Ocean-Q can be readily deployed in existing distributed database systems or search engine for large-scale query usage, and much greener with no additional cost for maintaining large neural networks. Experiments on SQuAD(-open) and HotpotQA benchmarks demonstrate that Ocean-Q is able to accelerate the fastest state-of-the-art RTQA system by 4X times, with only a 3+% accuracy drop.

연구 동기 및 목표

• 실시간 질문 응답(RTQA) 시스템에서 질문의 실시간 신경망 인코딩에 기인한 높은 계산 비용과 지연을 해결하기 위해.
• RTQA 시스템의 온라인 추론 중에 대규모 신경망을 유지 및 실행할 필요 없이 실시간 추론을 가능하게 하기 위해.
• 질문 생성(QG)을 사용해 사전에 대량의 후보 QA 쌍을 오프라인으로 생성함으로써 추론 시점에서의 빠른 매칭을 가능하게 하여 RTQA를 가속화하기 위해.
• 데이터 증강, 다중 작업 학습, 다양한 빔 서치를 통해 QG 품질을 향상시켜 최종 RTQA 성능을 향상시키기 위해.
• 실시간 추론에서 신경망을 사용하지 않는 새로운 오픈도메인 RTQA 기준을 설정하기 위해.

제안 방법

• 문서에서 추출한 답변 스퍼브에 기반해 훈련된 종단간 질문 생성 모델을 사용해 후보 QA 쌍을 오프라인으로 생성한다.
• 문맥에서 답변을 추출한 후 질문 생성을 통해 다양성이 확보된 후보 QA 쌍을 생성한다.
• 최신 수준의 QA 모델을 통해 QA 쌍 검증을 수행하여 품질이 낮거나 잘못된 QA 쌍을 걸러내고 수정한다.
• 온라인에서 들어오는 질문을 사전에 생성된 QA 풀과 n-gram 겹침을 통해 즉각 검색함으로써 신경망 인코딩을 생략한다.
• n-gram 매칭 이전에 상위 후보 QA 쌍을 효율적으로 검색하기 위해 온라인 매칭에 이중 단계 랭커를 도입한다.
• QG 훈련 중에 다중 작업 학습과 다양한 빔 서치를 활용해 질문의 다양성과 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 질문 생성을 수행하면 실시간 질의 응답 시스템의 추론 지연을 크게 줄일 수 있는가?
• RQ2 신경망을 사용하지 않는 온라인 추론 파이프라인은 최신 RTQA 모델과 비교해 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ3 데이터 증강 및 QG 품질 향상 기법이 최종 RTQA 시스템 성능에 어떤 영향을 미치는가?
• RQ4 실시간 신경망 인코딩을 사전에 계산된 QA 매칭으로 대체할 경우, 성능 향상과 정확도 저하 사이의 상충 관계는 어떠한가?
• RQ5 다중 작업 학습과 다양한 빔 서치로 훈련된 QG 모델이 더 높은 품질의 후보 질문을 생성하여 RTQA 성능을 향상시킬 수 있는가?

주요 결과

• Ocean-Q는 SQuAD-Open 및 HotpotQA 벤치마크에서 기존 가장 빠른 RTQA 시스템을 4배 빠르게 하면서도 정확도를 3.0%에서 3.8%까지 저하시키며 성능을 확보한다.
• 이중 단계 랭커는 검색 정확도를 향상시켜, 1개 질의당 200개의 문단을 사용할 경우 SQuAD-Open에서 83.4%의 정확도를 달성하며, 더 적은 문단 수로 DrQA(77.8%)를 능가한다.
• 후보 답변 수를 10개에서 100개로 늘일 경우, SQuAD와 HotpotQA에서 각각 16.96점과 18.85점의 RTQA 점수 향상을 기록한다.
• 빔 크기를 1에서 20으로 늘일 경우, SQuAD와 HotpotQA에서 각각 12.02점과 11.59점의 RTQA 점수 향상을 기록하여 더 다양한 질문 생성의 이점을 입증한다.
• QA 쌍 검증 단계를 제거하면 정확도가 9.46% 감소하여, 이 단계가 출력 품질 향상에 핵심적인 역할을 한다는 점을 확인한다.
• 도메인 내 데이터(DA-sim)를 활용한 데이터 증강은 SQuAD에서 0.83/0.61/0.71, HotpotQA에서 2.07/1.61/2.14의 QG 지표 향상을 이끌어내지만, 다양한 데이터(DA-div)는 SQuAD에서 베이스라인 성능을 떨어뜨린다.