[논문 리뷰] Searching Scientific Literature for Answers on COVID-19 Questions

Vincent Nguyen, Maciej Rybiński외 2명|arXiv (Cornell University)|2020. 07. 06.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 논문은 COVID-19 질문을 위한 과학문헌 검색의 효과를 향상시키기 위해 밀도 있는 신경망 임베딩과 전통적인 역색인 인덱싱을 결합한 하이브리드 신경 검색 방법 NIR${}_{\text{avg}}$를 제안한다. 문서의 다양한 요소에 걸쳐 평균 풀링된 BioBERT-NLI 임베딩을 사용하여 경쟁적인 성능을 달성하였으며, TREC COVID 챌린지에서 최상위 자동 런 중 하나로 평가되었으며, 이는 신경 인덱싱이 키워드 과적합 문제를 악화시키는 BM25만을 사용할 때보다 의미적 검색을 향상시킬 수 있음을 보여준다.

ABSTRACT

Finding answers related to a pandemic of a novel disease raises new challenges for information seeking and retrieval, as the new information becomes available gradually. TREC COVID search track aims to assist in creating search tools to aid scientists, clinicians, policy makers and others with similar information needs in finding reliable answers from the scientific literature. We experiment with different ranking algorithms as part of our participation in this challenge. We propose a novel method for neural retrieval, and demonstrate its effectiveness on the TREC COVID search.

연구 동기 및 목표

• 신속하게 증가하는 정보로 인해 기존의 키워드 기반 방법이 의미적으로 관련성이 있는 문서를 놓칠 수 있는 신종 질병, 예를 들어 COVID-19에 대한 관련 과학문헌을 검색하는 데 도전하는 것.
• SARS-CoV-2 및 관련 코로나바이러스에 대한 복잡하고 임상적, 연구 중심의 질문에 대한 답변 검색을 향상시키는 것.
• 대규모 문서 컬렉션에서 엔드 투 엔드 신경 검색의 높은 계산 비용을 피하면서도 비용 효율적인 신경 랭킹 시스템을 개발하는 것.
• CORD-19 데이터셋 기반으로 BioBERT-NLI에서 유도된 문장 임베딩을 사용한 신경 인덱싱의 효과를 TREC COVID 검색 챌린지 프레임워크 내에서 평가하는 것.

제안 방법

• BioBERT-NLI 모델에서 얻은 [CLS] 토큰 임베딩의 평균 풀링을 통해 생성된 풀링된 임베딩을 사용하여, 역색인 인덱스(비율 점수 계산용)와 신경 인덱스(의미적 검색용)를 결합한 하이브리드 인덱스를 구축한다.
• ScispaCy를 사용하여 문서 요소(제목, 초록, 전문)를 문장 단위로 분할한 후, BioBERT-NLI 모델을 통해 문장 수준의 임베딩을 계산한다.
• 평균 풀링을 통해 문장 수준의 임베딩을 필드 수준의 표현으로 집계하고, 이는 Elasticsearch에 전통적인 역색인 인덱스 구조와 함께 인덱싱된다.
• BM25 점수와 신경 임베딩의 코사인 유사도를 결합한 가중 점수 함수를 사용하여 문서를 랭킹한다.
• BERT-as-service를 통해 추론을 수행하고 Elasticsearch를 사용하여 인덱싱하는 방식으로, 단일 V100 GPU를 사용해 CORD-19 컬렉션을 시간당 2100건의 속도로 인덱싱한다.
• 역색인 인덱스에서 유도된 결과를 신경 모델이 재순서하거나 보완하는 하이브리드 검색 전략을 적용하여 어휘 일치에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 생물의학적 문장 임베딩 기반의 신경 검색 모델이 복잡한 COVID-19 질문에 대해 관련 과학문헌을 검색하는 데 기존의 BM25보다 뛰어난 성능을 보일 수 있는가?
• RQ2 신경 임베딩과 역색인 인덱스를 결합함으로써, 각각을 별도로 사용할 때보다 검색 효과성이 어떻게 향상되는가?
• RQ3 신경 모델이 키워드 기반 매칭의 한계, 예를 들어 의미적 관련성이 없는 쿼리 키워드에 과적합되는 문제를 어느 정도 완화하는가?
• RQ4 의미적 인덱싱을 위한 과학문헌 검색 맥락에서, 다양한 사전 훈련된 모델들(예: BioBERT-NLI, ClinicalCovid-NLI, SciBERT-NLI)의 성능은 어떻게 비교되는가?
• RQ5 다양한 풀링 전략(예: [CLS] 대비 평균)의 선택이 신경 문서 표현의 검색 효과성에 어떤 역할을 하는가?

주요 결과

• 제안된 NIR${}_{\text{avg}}$ 모델은 라운드 1에서 NDCG@10 점수가 0.608, 라운드 2에서 0.625를 기록하여 TREC COVID 챌린지에서 최상위 자동 런 중 하나로 평가되었다.
• BM25 없이도 신경 구성 요소만으로도 P@5가 0.700, NDCG@10가 0.624를 기록하여, BM25만을 사용한 경우(P@5: 0.307, NDCG@10: 0.277)보다 뛰어난 성능을 보였으며, 이는 강력한 의미적 검색 능력을 보여준다.
• 유사도 점수를 관련성 계산에서 제거함으로써 NDCG@10 점수가 향상되었으며, 이는 BM25와 함께 사용할 경우 신경 모델의 점수가 불완전한 문서가 검색될 경우 편향이 생길 수 있음을 시사한다.
• BM25 기반 시스템이 키워드 오버랩 편향 문제로 어려움을 겪는 주제 24와 25에서, 이 모델은 최상위 자동 런을 초월하여 성능을 냈으며, 이는 의미적 매칭이 어휘 매칭보다 우월함을 보여준다.
• ClinicalCovid-NLI 모델이 가장 높은 NDCG@10 점수(라운드 2에서 0.650)를 기록하여, 임상 COVID-19 질의에 특화된 미세튜닝된 모델이 신경 검색 성능을 크게 향상시킬 수 있음을 시사한다.
• 아블레이션 연구 결과, 전문 텍스트 임베딩이 성능 향상에 가장 기여했으며(P@5: 0.733, NDCG@10: 0.644), 이어 제목(P@5: 0.700, NDCG@10: 0.592), 초록은 기여도가 가장 낮았다(P@5: 0.180, NDCG@10: 0.123).