[논문 리뷰] Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering

Wenhu Chen, Pat Verga외 3명|arXiv (Cornell University)|2022. 04. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 메모리 저장소에서 질문-답변 쌍을 검색하고 사용하도록 사전 훈련하여 개방형 질의응답을 향상시키는 QA-메모리 보강형 트랜스포머인 QAMAT을 제안한다. 두 단계 사전 훈련 방법을 도입하여 소규모 데이터셋에서의 성능을 향상시키고, 반복적 검색을 통한 다단계 추론을 가능하게 하여 Musique 및 HotpotQA와 같은 복잡한 벤치마크에서 이전의 QA 전용 모델을 능가한다.

ABSTRACT

Retrieval augmented language models have recently become the standard for knowledge intensive tasks. Rather than relying purely on latent semantics within the parameters of large neural models, these methods enlist a semi-parametric memory to encode an index of knowledge for the model to retrieve over. Most prior work has employed text passages as the unit of knowledge, which has high coverage at the cost of interpretability, controllability, and efficiency. The opposite properties arise in other methods which have instead relied on knowledge base (KB) facts. At the same time, more recent work has demonstrated the effectiveness of storing and retrieving from an index of Q-A pairs derived from text \citep{lewis2021paq}. This approach yields a high coverage knowledge representation that maintains KB-like properties due to its representations being more atomic units of information. In this work we push this line of research further by proposing a question-answer augmented encoder-decoder model and accompanying pretraining strategy. This yields an end-to-end system that not only outperforms prior QA retrieval methods on single-hop QA tasks but also enables compositional reasoning, as demonstrated by strong performance on two multi-hop QA datasets. Together, these methods improve the ability to interpret and control the model while narrowing the performance gap with passage retrieval systems.

연구 동기 및 목표

• 질의-질의 검색을 위한 대규모 감독 데이터의 부족이라는 문제를 해결하여 QA-메모리 기반 모델의 핵심 제약 요소를 해결한다.
• WebQuestions와 같은 저자원 QA 벤치마크에서 성능을 향상시키기 위해 질문 검색을 위한 새로운 사전 훈련 작업을 도입한다.
• 기존 모델이 단일 단계 질의만 처리할 수 있는 한계를 극복하고, QA-메모리 기반 시스템을 활용하여 복합적 추론을 가능하게 한다.
• 잠재적 검색 방법보다 더 효율적인 훈련 파이프라인을 개발하여 고비용의 비동기 인덱스 업데이트를 피한다.
• QA 쌍이 지식 단위로서 텍스트 문단보다 더 넓은 커버리지와 유사한 효과를 가지며, 효과적이고 확장 가능한 지식 단위로 기능할 수 있음을 입증한다.

제안 방법

• 질의-답변 쌍을 저장하는 키-밸류 메모리가 부착된 T5 기반 인코더-디코더 모델인 QAMAT을 제안한다.
• 두 단계 사전 훈련 전략을 사용한다: 먼저 배치 내 QA 쌍으로 인코더를 사전 훈련하여 검색 및 해석 능력을 학습하고, 이후 고정된 글로벌 메모리에서 미세조정한다.
• 기존 질문 생성 방법을 사용하여 텍스트 문단에서 질문을 생성함으로써 대규모 사전 훈련 코퍼스를 구성한다.
• 모델을 훈련하여 답변을 마스킹하고 메모리에서 올바른 QA 쌍을 검색하도록 하여 추론 시의 검색을 시뮬레이션한다.
• 다중 라운드 검색을 지원하는 QAMAT+를 도입하여 복잡한 질문의 추론 단계를 연결하기 위해 QA 메모리를 반복적으로 쿼리한다.
• 인코더를 고정한 후 고정된 글로벌 메모리 인덱스를 사용하여 효율적인 추론을 가능하게 하고, 고비용의 온라인 인덱스 업데이트를 피한다.

실험 결과

연구 질문

• RQ1 질의 검색을 위한 사전 훈련 작업이 소규모 저자원 QA 벤치마크에서 성능 향상에 크게 기여할 수 있는가?
• RQ2 QA-메모리 기반 모델이 문서 검색이나 구조화된 지식 기반 없이도 다단계 추론을 수행할 수 있는가?
• RQ3 두 단계 사전 훈련 파이프라인은 효율성과 성능 측면에서 종단 간 잠재적 검색보다 우월한가?
• RQ4 QA 쌍이 단일 단계 및 복합적 추론을 모두 지원하는 효과적인 지식 단위로 기능할 수 있는가?
• RQ5 검색된 QA 쌍의 수가 모델 성능 및 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• 두 단계 사전 훈련 전략은 다운스트림 성능을 크게 향상시켜, 미세조정 없이도 NQ에서 44.5% EM, TriviaQA에서 53.2% EM을 달성한다.
• QAMAT+는 도전적인 다단계 QA 데이터셋인 Musique에서 최신 기술 수준의 성능을 기록하여 RePAQ와 T5-CBQA를 모두 능가한다.
• NQ와 TriviaQA에서 K=20까지의 검색 결과조차 성능이 포화 상태에 도달함을 확인하여, 중간 수준의 검색 쌍 수 이상에서는 수익 감소 현상이 나타남을 시사한다.
• 배치 내 사전 훈련 단계를 제거할 경우 성능이 심각하게 저하됨(예: WebQuestions에서 26.0% EM), 이는 일반화 능력 향상에 있어 핵심적인 역할을 함을 보여준다.
• 사전 훈련만으로도 NQ와 TriviaQA에서 40% EM을 달성하여, 제로샷 설정에서 강력한 피처 샘플 일반화 능력을 입증한다.
• QAMAT+는 다단계 데이터셋에서 단일 단계 QAMAT을 능가함으로써 반복적 검색이 복합적 추론에 효과적임을 입증한다.