[논문 리뷰] Query expansion with artificially generated texts

Vincent Claveau|arXiv (Cornell University)|2020. 12. 16.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 사용자 쿼리에서 관련성 있고 맥락 인식형 텍스트를 생성함으로써 GPT-2를 이용한 쿼리 확장 기법을 제안한다. 이 방법은 생성된 텍스트 내의 어휘 빈도를 활용해 더 나은 가중치를 부여함으로써 의미적으로 관련성이 높은 용어로 쿼리를 풍부하게 하고, 이로 인해 검색 성능이 크게 향상되며, MAP에서 최대 10% 향상되는 결과를 보였다. 이는 LM+RM3와 같은 강력한 베이스라인을 능가한다.

ABSTRACT

A well-known way to improve the performance of document retrieval is to expand the user's query. Several approaches have been proposed in the literature, and some of them are considered as yielding state-of-the-art results in IR. In this paper, we explore the use of text generation to automatically expand the queries. We rely on a well-known neural generative model, GPT-2, that comes with pre-trained models for English but can also be fine-tuned on specific corpora. Through different experiments, we show that text generation is a very effective way to improve the performance of an IR system, with a large margin (+10% MAP gains), and that it outperforms strong baselines also relying on query expansion (LM+RM3). This conceptually simple approach can easily be implemented on any IR system thanks to the availability of GPT code and models.

연구 동기 및 목표

• 신경망 텍스트 생성 기법이 쿼리 확장을 통해 문서 검색을 효과적으로 향상시킬 수 있는지 조사하기 위해.
• 생성된 텍스트가 기존 방법보다 더 나은 어휘 관련성과 상대적 어휘 가중치를 제공하는지 평가하기 위해.
• 이 방법의 전문 분야에서의 타당성과 효과성을 평가하기 위해.
• 생성된 텍스트의 길이와 생성된 문서 수가 검색 성능에 미치는 영향을 탐색하기 위해.
• LM+RM3와 같은 강력한 베이스라인 기법들과의 비교를 통해 제안된 방법의 성능을 평가하기 위해.

제안 방법

• 목표 코퍼스에 대해 GPT-2를 피지컬 트레이닝하여 관심 분야에 맞게 생성 능력을 적응시키기 위해.
• 피지컬 트레이닝된 GPT-2 모델을 사용해 원본 쿼리를 프롬프트로 삼아 다수의 전체 텍스트 문서를 생성하기 위해.
• 생성된 텍스트에서 어휘를 추출하고, 이를 BM25 검색 모델의 가중치로 사용하기 위해 빈도를 활용하기 위해.
• 생성된 텍스트 내에서 원본 쿼리 어휘의 빈도를 기반으로 원본 쿼리 어휘의 기여도를 향상시키기 위해 재가중치를 부여하기 위해.
• 빈도 기반 또는 고정 가중치를 사용해 확장된 쿼리를 BM25 검색 시스템에 적용하기 위해.
• Tipster와 같은 벤치마크 컬렉션에서 표준 정보 검색 메트릭스(MAP, P@5, P@10, P@20, P@100)를 사용해 성능 평가하기 위해.

실험 결과

연구 질문

• RQ1 GPT-2를 사용해 쿼리에서 의미 있고 관련성이 높은 확장을 생성할 수 있는가? 이는 검색 성능 향상에 기여하는가?
• RQ2 생성된 텍스트 내 어휘 빈도가 균일하거나 히وري스틱 기반 가중치 방식보다 더 나은 어휘 가중치를 제공하는가?
• RQ3 쿼리당 생성된 문서 수가 검색 성능에 미치는 영향은 어떠한가? 그리고 포화점이 존재하는가?
• RQ4 이 방법이 애드혹 검색 작업에서 기존의 쿼리 확장 베이스라인(LM+RM3)을 능가할 수 있는가?
• RQ5 이 방법이 레이블이 부족한 전문 분야에 대해 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 GPT-2 기반 쿼리 확장 방법은 기존의 베이스라인 대비 +10%의 MAP 향상을 달성하여 LM+RM3를 뚜렷이 능가했다.
• 생성된 텍스트의 어휘 빈도를 가중치로 사용함으로써 MAP에 명확한 향상이 있었으며, 고정 가중치 확장은 오직 미미한 성능 향상에 그쳤다.
• 생성된 텍스트 내에서 어휘의 빈도를 기반으로 원본 쿼리 어휘를 재가중치한 결과, MAP는 25.06%에서 27.12%로 향상되었다 (BM25+ 재가중치 적용 시).
• 쿼리당 약 20개의 문서를 생성한 후 성능이 정체되어 더 이상의 성능 향상이 없음을 확인했으며, 이는 수익 감소의 징후로 볼 수 있다.
• 이 방법은 전문 분야에서도 효과를 보였으며, 일반 도메인 컬렉션 외에도 넓은 적용 가능성을 보였다.
• 이 방법은 새로운 어휘를 제공할 뿐 아니라 어휘 중요도의 더 정확한 추정치를 제공함으로써 재현율과 정밀도를 모두 향상시켰다.