[논문 리뷰] TREC-COVID: Constructing a Pandemic Information Retrieval Test Collection

Ellen M. Voorhees, Tasmeer Alam외 7명|arXiv (Cornell University)|2020. 05. 09.

COVID-19 diagnosis using AI인용 수 45

한 줄 요약

TREC-COVID는 COVID-19 문헌(CORD-19)에 걸친 다라운드 팬데믹 중심의 테스트 컬렉션을 구축하여 주제와 문서가 실시간으로 진화함에 따라 검색 시스템을 평가합니다. 최신 문서 코퍼스와 동적인 적합 판단으로 빠른 평가 사이클을 도입합니다.

ABSTRACT

TREC-COVID is a community evaluation designed to build a test collection that captures the information needs of biomedical researchers using the scientific literature during a pandemic. One of the key characteristics of pandemic search is the accelerated rate of change: the topics of interest evolve as the pandemic progresses and the scientific literature in the area explodes. The COVID-19 pandemic provides an opportunity to capture this progression as it happens. TREC-COVID, in creating a test collection around COVID-19 literature, is building infrastructure to support new research and technologies in pandemic search.

연구 동기 및 목표

• 팬데믹 동안 과학 문헌을 사용하는 생물의학 연구자들의 정보 필요를 포착한다.
• 다중 라운드의 진화하는 문서 컬렉션에 TREC-스타일 평가를 확장한다.
• 급변하는 생의학 위기에서 검색 알고리즘과 시스템을 평가하기 위한 인프라를 제공한다.
• 전세계 보건 비상 상황에서 과학 정보를 관리하는 데 필요한 통찰을 가능하게 한다.

제안 방법

• CORD-19를 임시 생의학 검색 작업의 문서 세트로 사용한다.
• 주제 공개, 실행 제출, 및 관련 판단에 대해 짧은 마감일이 있는 라운드로 평가를 조직한다.
• 각 라운드를 독립적인 평가로 간주하되, 주제/문서 집합이 이전 라운드의 상위집합이 되도록 한다.
• 주제에 대해 이미 판단된 문서가 이후 라운드에서 제거되는 잔여 컬렉션 평가를 사용해 라운드를 점수화한다.
• 주제를 사용하여 관련성을 평가하며 라벨은: Relevant, Partially Relevant, Not Relevant이며 임상의와 인덱서가 수집한다.

실험 결과

연구 질문

• RQ1 보건 위기 동안 진화하는 정보 요구를 팬데믹 정보 검색 테스트 컬렉션이 어떻게 반영할 수 있는가?
• RQ2 다중 라운드의 진화하는 코퍼스가 검색 평가와 시스템 순위 안정성에 미치는 영향은 무엇인가?
• RQ3 급변하는 생의학 문헌에 대해 IR을 평가하기 위해 필요한 인프라 및 방법론적 확장은 무엇인가?

주요 결과

• Round 1은 Asia, Australia, Europe, North America 전역의 56개 팀으로부터 143건의 런을 끌어들였다.
• Round 1은 30개의 주제를 사용했고 주제당 평균 약 289.7 판단(총 8,691 판단)을 사용했다.
• 판단 풀은 짧은 시간 제한으로 얕았고, 불완전한 판단과 평가 불확실성을 강조했다.
• 많은 주제들이 런 간 높은 중복 가변성을 보였고, 일부 런은 상위 문서를 거의 공유하지 않았다.
• NDCG@10 점수는 여러 주제가 top-10 관련성을 달성했음을 보여주었고(여러 주제에서 최대 1.0), 런 간 구별 능력을 나타낸다.