[논문 리뷰] UHD-BERT: Bucketed Ultra-High Dimensional Sparse Representations for Full Ranking.

Kyoung-Rok Jang, Junmo Kang외 5명|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

UHD-BERT는 BERT에서 유도된 초고차원(ultra-high dimensional, UHD) 희박 표현을 사용하여 의미적 풍부함과 효율성을 균형 잡는 신경기호 정보 검색 프레임워크를 제안한다. 수평적(임bedding 세그먼트) 또는 수직적(BERT 레이어 출력) 구성 요소를 버킷화하여 조합함으로써, 분리되고 해석 가능하며 효율적인 표현을 달성하며, 역인verted 인덱싱과 BM25와 같은 상징적 IR 기법과 호환된다.

ABSTRACT

Neural information retrieval (IR) models are promising mainly because their semantic matching capabilities can ameliorate the well-known synonymy and polysemy problems of word-based symbolic approaches. However, the power of neural models' dense representations comes at the cost of inefficiency, limiting it to be used as a re-ranker. Sparse representations, on the other hand, can help enhance symbolic or latent-term representations and yet take advantage of an inverted index for efficiency, being amenable to symbolic IR techniques that have been around for decades. In order to transcend the trade-off between sparse representations (symbolic or latent-term based) and dense representations, we propose an ultra-high dimensional (UHD) representation scheme equipped with directly controllable sparsity. With the high dimensionality, we attempt to make the meaning of each dimension less entangled and polysemous than dense embeddings. The sparsity allows for not only efficiency for vector calculations but also the possibility of making individual dimensions attributable to interpretable concepts. Our model, UHD-BERT, maximizes the benefits of ultra-high dimensional (UHD) sparse representations based on BERT language modeling, by adopting a bucketing method. With this method, different segments of an embedding (horizontal buckets) or the embeddings from multiple layers of BERT (vertical buckets) can be selected and merged so that diverse linguistic aspects can be represented. An additional and important benefit of our highly disentangled (high-dimensional) and efficient (sparse) representations is that this neural approach can be harmonized with well-studied symbolic IR techniques (e.g., inverted index, pseudo-relevance feedback, BM25), enabling us to build a powerful and efficient neuro-symbolic information retrieval system.

연구 동기 및 목표

• 밀도 높은 신경망 임베딩(의미적 표현은 풍부하지만 비효율적임)과 희박한 상징적 표현(효율적이나 의미적 표현력이 제한됨) 사이의 상충 관계를 해결하기 위해.
• 차원 수를 증가시켜 의미적 풍부함을 유지하면서도 희박성을 유지하여 계산 효율성을 확보하는 희박 표현을 가능하게 하기 위해.
• 초고차원성으로 인해 다의미성과 얽힘을 감소시켜 개별 벡터 차원을 해석 가능하게 만들기 위해.
• 역인verted 인덱싱, BM25, 의사-재levance 피드백과 같은 기존 상징적 IR 기법과의 통합을 위해.
• 딥 러닝과 고전적 IR 방법의 장점을 결합한 확장 가능하고 효율적인 전면 랭킹 시스템 개발을 위해.

제안 방법

• 각 차원이 분리되고 낮은 엉키힘을 가진 의미 단위에 해당하는 초고차원(UHD) 희박 표현 기법을 BERT에서 유도하여 제안한다.
• 특정 BERT 임베딩 세그먼트(수평 버킷) 또는 다양한 BERT 레이어 출력(수직 버킷)을 선택하고 병합하기 위해 버킷화 메커니즘을 적용하여 다양한 언어적 측면을 포착한다.
• 각 버킷당 상위-k 번째로 중요한 차원만 선택함으로써 희박성을 직접 제어하여 효율적인 벡터 연산과 역인verted 인덱스와의 호환성을 확보한다.
• UHD-BERT 임베딩을 역인verted 인덱스로 색인화하여 신속한 검색과 고전적 IR 모델과의 통합을 가능하게 하는 신경기호 검색 시스템을 구축한다.
• UHD-BERT를 BM25 및 의사-재levance 피드백과 같은 상징적 기법과 조화시키기 위해, 희박한 신경 특징과 전통적인 텀 수준 특징을 통합된 랭킹 프레임워크에서 결합한다.

실험 결과

연구 질문

• RQ1 BERT에서 유도된 초고차원 희박 표현이 계산 효율성을 유지하면서도 경쟁력 있는 랭킹 성능을 달성할 수 있는가?
• RQ2 BERT 임베딩의 버킷화(수평 또는 수직)가 의미 특징의 분리성과 해석 가능성에 얼마나 기여하는가?
• RQ3 UHD-BERT가 전면 랭킹 환경에서 역인verted 인덱싱과 BM25와 같은 상징적 IR 기법과 얼마나 잘 통합되는가?
• RQ4 희박한 고차원 신경 특징과 고전적 IR 방법의 조합이 정확도와 효율성 측면에서 밀도 높은 신경 재랭킹 모델을 능가하는가?

주요 결과

• UHD-BERT는 희박성과 역인verted 인덱싱 덕분에 효율성을 유지하면서도, 밀도 높은 신경 재랭킹 모델과 경쟁하거나 승리하는 랭킹 성능을 달성한다.
• 버킷화 메커니즘이 특정 임베딩 세그먼트 또는 다중 레이어 BERT 출력을 조합함으로써 다양한 언어적 측면을 효과적으로 표현할 수 있도록 한다.
• 고차원성이 다의미성과 엉킴을 감소시켜 개별 벡터 차원을 더 해석 가능하고 의미적으로 구분 가능한 상태로 만든다.
• BM25 및 의사-재levance 피드백과 같은 상징적 IR 기법과의 통합은 신경기호 프레임워크 내에서 검색 효과성을 향상시킨다.
• 희박 표현이 표준 IR 인프라(역인verted 인덱스 및 효율적 벡터 검색 포함)와 호환되기 때문에, 시스템은 확장 가능한 전면 랭킹을 지원한다.