[논문 리뷰] COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List

Luyu Gao, Zhuyun Dai외 1명|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling참고 문헌 35인용 수 9

한 줄 요약

COIL은 정보 검색에서 기존의 어휘 일치 방식을 맥락적으로 풍부한 토큰 표현 간의 벡터 유사도로 대체하는 맥락적 역인verted 리스트 아키텍처를 제안한다. 이는 광범위한 검색 벤치마크에서 최고 성능을 달성하면서도 낮은 지연 시간을 유지하며, 기존의 고전적 어휘 검색기와 현대적인 밀도형 검색기(DPR 및 ColBERT)를 모두 능가한다.

ABSTRACT

Classical information retrieval systems such as BM25 rely on exact lexical match and carry out search efficiently with inverted list index. Recent neural IR models shifts towards soft semantic matching all query document terms, but they lose the computation efficiency of exact match systems. This paper presents COIL, a contextualized exact match retrieval architecture that brings semantic lexical matching. COIL scoring is based on overlapping query document tokens' contextualized representations. The new architecture stores contextualized token representations in inverted lists, bringing together the efficiency of exact match and the representation power of deep language models. Our experimental results show COIL outperforms classical lexical retrievers and state-of-the-art deep LM retrievers with similar or smaller latency.

연구 동기 및 목표

• 고전적 어휘 기반 정보 검색 시스템에서의 의미 불일치 문제를 맥락적으로 풍부한 표현을 도입함으로써 정확한 일치 검색에 통합함으로써 해결하고자 한다.
• 정확한 인verted 리스트 색인의 효율성을 유지하면서도 맥락적 벡터를 통해 의미 인식이 가능한 일치 검색을 가능하게 하고자 한다.
• 정확한 어휘 일치에 맥락적 표현을 적용할 경우 기존의 전통적 모델과 현대적 밀도형 검색 모델을 모두 능가할 수 있음을 입증하고자 한다.
• 맥락적 정확한 일치가 히ュ리스틱 스코어링이나 소프트 매칭보다 더 효과적으로 복잡한 매칭 패턴을 포착할 수 있는지 탐구하고자 한다.

제안 방법

• 사전에 훈련된 언어 모델을 사용하여 문서를 오프라인으로 처리하여 맥락적으로 풍부한 토큰 표현을 생성한다.
• 각 항목이 표면 토큰을 그에 해당하는 문서 전역의 맥락적 벡터 표현으로 매핑하는 인버티드 리스트를 구성한다.
• 검색 시점에 쿼리 토큰을 맥락적 벡터로 임bedding하고, 인버티드 리스트 내의 문서 벡터와 벡터 유사도를 통해 매칭한다.
• 일치 스코어는 쿼리와 문서의 토큰 표현 간의 겹침을 기반으로 코사인 유사도로 계산된다.
• 시스템은 전체 컨텍스트(CLs) 및 토큰 수준(token-specific) 표현을 모두 지원하여 다양한 스코어링 전략을 유연하게 구현할 수 있다.
• 양자화 및 근사 검색과 같은 최적화 기법과의 호환성이 있어 저지연 시간 배포가 가능하다.

실험 결과

연구 질문

• RQ1 맥락적 표현을 도입함으로써 정확한 어휘 일치 검색의 효율성을 훼손하지 않고도 성능 향상을 이룰 수 있는가?
• RQ2 맥락적 표현을 사용하는 정확한 토큰 일치를 수행하는 시스템이 고전적 및 신경망 기반 밀도형 검색 모델을 모두 능가할 수 있는가?
• RQ3 기존 어휘 일치 방식에 비해 맥락적 정확한 일치가 다의어 및 동의어 처리에 어떻게 효과적으로 대응하는가?
• RQ4 이 아키텍처에서 표현 차원, 지연 시간, 검색 성능 간의 상호 상충 관계는 어떠한가?

주요 결과

• COIL은 MS MARCO 및 TREC DL 2019 벤치마크에서 BM25 및 기타 고전적 어휘 검색기보다 더 높은 MRR 및 리콜 성능을 기록한다.
• 128차원 토큰 표현을 사용하는 COIL-tok은 DL2019에서 768차원 기준선보다 더 높은 MRR 성능을 달성하여 낮은 차원에서의 정규화 효과를 보여준다.
• ColBERT 및 DPR보다도 낮은 검색 지연 시간을 기록하며, 근사 검색이나 양자화를 사용하지 않아도 되고, 정확도는 더 높으면서도 BM25보다도 더 빠르다.
• COIL은 'cabinet'과 'pass'와 같은 다의어어에 대해 맥락적으로 적절한 매칭에 높은 유사도 스코어를 할당함으로써 더 우수한 의미 해석 능력을 보여준다.
• CLS 및 토큰 수준 표현을 모두 포함한 전체 COIL 시스템은 모든 대 모든 매칭 모델인 ColBERT와 비교해도 성능이 동등하거나 이를 초월한다. 이는 정확한 일치를 사용하고 있음에도 불구하고 성능을 달성했다는 점에서 놀랍다.
• COIL의 성공은 정확한 일치에 맥락적 벡터를 적용할 경우, 이전에는 소프트 매칭 또는 모든 대 모든 매칭 방식에서만 가능했던 복잡한 매칭 패턴을 효과적으로 포착할 수 있음을 시사한다.