[논문 리뷰] An Updated Duet Model for Passage Re-ranking

Bhaskar Mitra, Nick Craswell|arXiv (Cornell University)|2019. 03. 18.

Topic Modeling참고 문헌 22인용 수 34

한 줄 요약

이 논문은 Duet v2를 제시합니다. 간단한 수정( IDF-weighted interactions, word embeddings, ReLU 활성화, 그리고 bagging과 함께하는 MLP 융합 )을 통합한 업데이트된 신경 패시지 재정렬 모델이며, ablation을 통해 MS MARCO 성능이 향상됨을 보인다.

ABSTRACT

We propose several small modifications to Duet---a deep neural ranking model---and evaluate the updated model on the MS MARCO passage ranking task. We report significant improvements from the proposed changes based on an ablation study.

연구 동기 및 목표

• MS MARCO 패시지 랭킹을 위한 Duet 신경 랭킹 모델의 개선을 추진한다.
• 성능과 학습 효율성을 향상시키기 위한 간단한 아키텍처 및 입력 표현 변경을 제안한다.
• 각 수정의 영향을 ablation 연구를 통해 정량화하고 비-BERT 최상위 baselines와 비교한다.

제안 방법

• 학습 속도를 높이기 위해 분산 서브모듈에서 문자 수준 n-그래프 인코딩을 단어 임베딩으로 교체한다.
• 로컬 상호작용 행렬에 IDF 가중치를 도입하여 판별력이 있는 질의 용어를 강조한다.
• 모델 전반에서 Tanh를 ReLU 활성화로 대체하여 학습 속도 및 성능 이점을 도모한다.
• 로컬 및 분산 서브모델의 벡터 출력을 공동으로 융합하기 위해 다층 퍼셈트를 사용한다(단일 스칼라 조합 대신).
• 다른 시드와 데이터 샘플로 여러 개의 Duet v2 모델을 학습시켜 예측을 앙상블하는 배깅을 적용한다.
• Adam 옵티마이저와 고정 하이퍼파라미터를 사용하여 (q, p+, p−) 트리플렛에 대한 크로스엔트로피 손실로 학습한다; 입력을 다듬고, 어휘를 제한하며, 고정된 은닉 크기를 사용한다.

실험 결과

연구 질문

• RQ1 쿼리-문서 상호작용에 IDF 가중치를 적용하면 MS MARCO에서 랭킹 성능이 향상되는가?
• RQ2 비선형 활성화(ReLU)와 서브모델 출력을 사용하는 MLP 기반 융합이 원래의 Duet 설계를 능가하는가?
• RQ3 다수의 Duet v2 모델에 대한 배깅이 MS MARCO 패시지 랭킹에 추가 이득을 주는가?
• RQ4 업데이트된 Duet v2가 MS MARCO에서 비-BERT 기반 베이스라인과 BERT 기반 접근법과 비교하면 어떠한가?

주요 결과

• Duet v2는 dev 세트에서 MRR@10 0.243, eval 세트에서 0.245를 달성한다.
• 8개의 Duet v2 모델의 앙상블은 dev에서 0.252, eval에서 0.253의 MRR@10을 산출한다.
• IDF 가중치를 제거한 ablation은 MRR를 약 33% 감소시킨다.
• Tanh를 ReLU로 대체하지 않으면 약 26%의 MRR 저하가 발생했다.
• 로컬 및 분산 점수를 선형 조합으로 사용하는 경우(MLP 대신) MRR이 약 14% 감소한다.
• 배깅으로 추가로 약 3%의 MRR 향상을 얻는다.
• Duet v2는 MS MARCO에서 다른 비-BERT 최상위 방법들과 비슷한 성능에 근접하고 훈련은 훨씬 빠르며(테슬라 K40에서 1.5시간).