[논문 리뷰] Exploring Dense Retrieval for Dialogue Response Selection

Tian Lan, Deng Cai외 4명|arXiv (Cornell University)|2021. 10. 13.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

이 논문은 듀얼 인코더 아키텍처와 경량 상호작용 레이어를 결합하여 높은 추론 효율성을 유지하면서도 최신 기술 수준(SOTA) 성능을 달성하는 대화 응답 선택을 위한 밀도 검색 모델인 DR-BERT를 제안한다. 배치 내 대비 학습, 비병렬 도메인 적응, 데이터 증강을 통합함으로써 DR-BERT는 큰 또는 비병렬 후보 풀에서 검색할 경우 강력한 크로스 인코더 베이스라인 모델을 능가하며, 특히 재-ranking 및 전-ranking 설정 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Recent progress in deep learning has continuously improved the accuracy of dialogue response selection. In particular, sophisticated neural network architectures are leveraged to capture the rich interactions between dialogue context and response candidates. While remarkably effective, these models also bring in a steep increase in computational cost. Consequently, such models can only be used as a re-rank module in practice. In this study, we present a solution to directly select proper responses from a large corpus or even a nonparallel corpus that only consists of unpaired sentences, using a dense retrieval model. To push the limits of dense retrieval, we design an interaction layer upon the dense retrieval models and apply a set of tailor-designed learning strategies. Our model shows superiority over strong baselines on the conventional re-rank evaluation setting, which is remarkable given its efficiency. To verify the effectiveness of our approach in realistic scenarios, we also conduct full-rank evaluation, where the target is to select proper responses from a full candidate pool that may contain millions of candidates and evaluate them fairly through human annotations. Our proposed model notably outperforms pipeline baselines that integrate fast recall and expressive re-rank modules. Human evaluation results show that enlarging the candidate pool with nonparallel corpora improves response quality further.

연구 동기 및 목표

• 소요-다시정렬 파이프라인에 의존하지 않고도 큰 또는 비병렬 코퍼스에서 응답을 직접 선택할 수 있는 효율적인 밀도 검색 모델을 개발하는 것.
• 정확도는 높지만 대규모 후보 풀에 대해 실현 불가능한 크로스 인코더 모델의 계산 병목 현상을 해결하는 것.
• 최소한의 계산 비용으로 세밀한 컨텍스트-응답 상호작용을 포착할 수 있는 상호작용 레이어를 도입하여 밀도 검색 성능을 향상시키는 것.
• 대규모 후보 풀에서 인간이 애너테이션한 평가를 통해 실제 전-ranking 설정에서 모델의 효과성을 검증하는 것.
• 비병렬 코퍼스를 훈련 및 추론에 통합함으로써 응답 품질 향상에 기여할 수 있는지 탐색하는 것.

제안 방법

• 컨텍스트와 응답을 별도로 인코딩하는 듀얼 인코더 아키텍처를 사용하여, 큰 후보 풀에서 사전 계산 및 효율적인 벡터 검색을 가능하게 한다.
• 듀얼 인코더 이후 상호작용 레이어를 도입하여 사전 계산된 임bedding을 사용해 컨텍스트-응답 및 응답-응답 상호작용을 모델링함으로써 매칭 점수를 정교화한다.
• 멀티태스크 학습을 통해 듀얼 인코더와 상호작용 레이어를 함께 최적화하며 공통 목표를 설정한다.
• 사전 훈련 단계에서 배치 내 대비 학습을 사용하여 대화 컨텍스트와 응답 후보 간의 의미 공간을 정렬한다.
• 비병렬 도메인 적응 사전 훈련을 통해 BERT 인코더를 비병렬 문장 코퍼스에 대해 사전에 워밍업시켜 일반화 능력을 향상시킨다.
• 양성 인스턴스 확장과 하드 음성 샘플링을 통한 데이터 증강을 통해 훈련 데이터의 품질과 다양성을 높인다.

Figure 1. The overview of our DR-BERT training, offline index, and online inference. $c$ and $r$ represent conversation context and response, respectively. $V_{c}$ and $V_{r}$ denotes their representations in the semantic space. Note that the offline index may come from the nonparallel corpus and th

실험 결과

연구 질문

• RQ1 밀도 검색 모델이 추론 효율성을 유지하면서도 크로스 인코더 베이스라인을 능가할 수 있는가?
• RQ2 듀얼 인코더 모델에 상호작용 레이어를 도입함으로써 계산 비용을 거의 증가시키지 않으면서도 매칭 정확도를 크게 향상시킬 수 있는가?
• RQ3 비병렬 코퍼스를 효과적으로 활용하여 실제 전-ranking 설정에서 응답 선택 성능을 향상시킬 수 있는가?
• RQ4 후보 풀이 수백만 개의 응답으로 증가할 경우, 작은 사전 선택된 세트와 비교해 모델의 성능은 어떻게 되는가?
• RQ5 배치 내 대비 학습과 데이터 증강과 같은 맞춤형 훈련 전략이 모델의 일반화 능력과 강건성 향상에 얼마나 기여하는가?

주요 결과

• DR-BERT는 표준 재-ranking 벤치마크에서 최신 기술 수준 성능을 달성하여, BERT-FP와 같은 강력한 크로스 인코더 모델보다 NDCG@3 및 NDCG@5 지표에서 모두 뛰어난 성능을 보였다.
• RRS 랭킹 테스트 세트에서 DR-BERT는 NDCG@3 = 0.710과 NDCG@5 = 0.783을 기록하여 BERT-FP 및 SA-BERT BERT-FP를 포함한 모든 베이스라인을 능가했다.
• 상호작용 레이어는 최소한의 계산 비용만을 추가하며, 1,000개의 후보 세트에서 SMN 대비 최대 489.68배 빠른 추론 속도를 기록했고, 더 큰 후보 풀에서는 ColBERT를 능가하는 성능을 보였다.
• 후보 풀 크기가 증가함에 따라 DR-BERT는 ColBERT보다 훨씬 빠른 성능을 보이며 우수한 확장성을 입증했다.
• 인간 평가 결과, 비병렬 코퍼스를 활용한 후보 풀 확장 전략이 응답 품질 향상에 기여함을 확인하여 모델의 실세계 적용 가능성에 대한 타당성을 입증했다.
• 배치 내 대비 학습, 비병렬 도메인 적응, 데이터 증강의 조합은 모든 평가 설정에서 일관된 성능 향상을 이끌어냈다.

Figure 2. The overview of our designed interaction layer. It contains $N$ transformer decoder layers.