[논문 리뷰] TinySearch -- Semantics based Search Engine using Bert Embeddings

Manish Patel|arXiv (Cornell University)|2019. 08. 07.

Topic Modeling참고 문헌 2인용 수 8

한 줄 요약

이 논문은 복잡한 쿼리에 대해 키워드 매칭에 의존하지 않고 문맥적 의미를 포착함으로써 검색을 향상시키기 위해 BERT 임베딩을 활용하는 의미 기반 검색 엔진인 TinySearch를 제안한다. 복잡한 쿼리에서 전통적인 검색 방법보다 뛰어난 성능을 보이며, 밀도 있는 문장 임베딩을 사용해 의미 유사도 기반으로 문서를 순위 매긴다. 이는 미묘한 정보 요구 사항에 대해 관련성에서 뚜렷한 향상을 보여준다.

ABSTRACT

Existing search engines use keyword matching or tf-idf based matching to map the query to the web-documents and rank them. They also consider other factors such as page rank, hubs-and-authority scores, knowledge graphs to make the results more meaningful. However, the existing search engines fail to capture the meaning of query when it becomes large and complex. BERT, introduced by Google in 2018, provides embeddings for words as well as sentences. In this paper, I have developed a semantics-oriented search engine using neural networks and BERT embeddings that can search for query and rank the documents in the order of the most meaningful to least meaningful. The results shows improvement over one existing search engine for complex queries for given set of documents.

연구 동기 및 목표

• 복잡한 쿼리의 의미적 의미를 이해하는 데에 전통적인 검색 엔진의 한계를 해결하기 위해.
• 키워드 겹침이 아닌 의미 유사도 기반으로 문서를 순위 매기는 검색 시스템을 개발하기 위해.
• 검색에서 문장 수준의 의미 표현을 위해 사전 훈련된 BERT 임베딩을 활용하기 위해.
• 키워드 기반 방법이 실패하는 복잡한 쿼리에서 성능을 평가하기 위해.
• 기존의 정보 검색 기법에 비해 문맥 임베딩을 사용한 관련성 높은 순위 매기기의 성능 향상을 입증하기 위해.

제안 방법

• 질의 및 문서에 대해 BERT를 사용해 밀도 있는 문맥 임베딩을 생성한다.
• 쿼리와 문서 임베딩 간의 의미 유사도를 코사인 유사도를 사용해 계산한다.
• 입력 쿼리에 대한 의미 유사도 기반으로 문서를 순위 매긴다.
• 주어진 문서 컬렉션에서 검색 작업을 위해 BERT 기반 모델을 훈련 및 미세조정한다.
• BERT 인코더를 통해 질의와 문서를 처리하여 벡터 표현을 생성하는 검색 파이프라인을 구현한다.
• 기존의 tf-idf나 키워드 기반 매칭 대신 의미 매칭 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 BERT 기반 문장 임베딩은 자연어로 된 복잡한 쿼리의 검색 관련성 향상에 기여할 수 있는가?
• RQ2 의미 기반 검색 엔진은 복잡한 쿼리에서 키워드 기반 시스템과 비교해 순위 정확도에서 어떻게 다를까?
• RQ3 문맥 임베딩은 긴 및 다의어적인 쿼리의 의미를 어느 정도 포착할 수 있는가?
• RQ4 BERT 임베딩을 사용함으로써 페이지랭크나 tf-idf와 같은 히وري스틱 기반 특징에 대한 의존도는 감소하는가?
• RQ5 경량 의미 기반 검색 엔진은 기존 시스템보다 복잡한 쿼리 세트에서 더 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 TinySearch 시스템은 기준 키워드 기반 검색 엔진에 비해 복잡한 쿼리에서 향상된 순위 성능을 달성한다.
• BERT 임베딩을 사용한 의미 유사도 기반 검색은 기존의 키워드 매칭 방식보다 더 의미 있는 문서 순위를 제공한다.
• 시스템은 특히 긴 및 모호한 쿼리에서 문맥적 의미를 효과적으로 포착한다.
• 의미 이해가 핵심이 되는 쿼리에서 관련성 향상이 측정 가능한 수준으로 나타난다.
• 사전 훈련된 BERT 임베딩을 사용함으로써 광범위한 재훈련 없이도 고품질의 의미 표현을 가능하게 한다.
• 밀도 있는 의미 임베딩이 복잡한 검색 시나리오에서 희박한 키워드 기반 방법보다 우월할 수 있음을 입증한다.