[논문 리뷰] Entity Set Search of Scientific Literature: An Unsupervised Ranking Approach

Jiaming Shen, Jinfeng Xiao외 4명|arXiv (Cornell University)|2018. 04. 29.

Topic Modeling참고 문헌 35인용 수 9

한 줄 요약

이 논문은 생물의학 및 컴퓨터 과학 분야에서 흔한 엔티티-세트 쿼리에서 엔티티 간 관계와 엔티티 유형을 모델링하기 위해 이질적 쿼리 그래프와 그래프 커버링을 사용하는 비지도 순위 매기기 프레임워크인 SetRank을 제안한다. TREC Genomics 및 Semantic Scholar 데이터셋에서 평가한 결과, SetRank는 비지도 기반 모델보다 엔티티-세트 쿼리에서 뚜렷한 성능 향상을 보였으며, 레이블이 없는 데이터를 기반으로 한 가중치 기반 순위 집합을 통한 모델 선택 방법을 통해 레이블이 필요한 검증 세트 없이도 효과적인 하이퍼파라미터 튜닝이 가능하다.

ABSTRACT

Literature search is critical for any scientific research. Different from Web or general domain search, a large portion of queries in scientific literature search are entity-set queries, that is, multiple entities of possibly different types. Entity-set queries reflect user's need for finding documents that contain multiple entities and reveal inter-entity relationships and thus pose non-trivial challenges to existing search algorithms that model each entity separately. However, entity-set queries are usually sparse (i.e., not so repetitive), which makes ineffective many supervised ranking models that rely heavily on associated click history. To address these challenges, we introduce SetRank, an unsupervised ranking framework that models inter-entity relationships and captures entity type information. Furthermore, we develop a novel unsupervised model selection algorithm, based on the technique of weighted rank aggregation, to automatically choose the parameter settings in SetRank without resorting to a labeled validation set. We evaluate our proposed unsupervised approach using datasets from TREC Genomics Tracks and Semantic Scholar's query log. The experiments demonstrate that SetRank significantly outperforms the baseline unsupervised models, especially on entity-set queries, and our model selection algorithm effectively chooses suitable parameter settings.

연구 동기 및 목표

• 다양한 유형의 엔티티를 포함하는 쿼리에서 엔티티 간 관계를 반영하지만 기존 시스템에서 잘 처리되지 않는 엔티티-세트 쿼리에 대한 과학적 문헌 순위 매기기 문제를 해결하기 위해.
• 레이블이 부여된 관련성 데이터에 의존하지 않고도 엔티티 간 관계와 엔티티 유형을 모두 포괄하는 비지도 순위 매기기 모델을 개발하기 위해.
• 레이블이 부여된 검증 세트가 필요 없이 클릭 기반 피드백만을 사용하여 SetRank의 하이퍼파라미터를 자동으로 튜닝할 수 있는 모델 선택 전략을 설계하기 위해.
• 실제 과학적 문헌 데이터셋을 기반으로 프레임워크를 평가하고, 전체 엔티티 세트에 관련된 문서를 효과적으로 검색할 수 있는지 입증하기 위해.

제안 방법

• SetRank는 쿼리에서 엔티티 유형과 엔티티 간 관계를 표현하기 위해 이질적 쿼리 그래프를 구성하여 사용자의 정보 필요 조건을 인코딩한다.
• 외부 지식 기반을 사용하여 쿼리와 문서 내 엔티티 언급을 정규화된 엔티티에 연결함으로써, 유형 인식 표현을 가능하게 한다.
• 문서는 백오프-워드 및 백오프-엔티티 모델을 모두 사용하여 표현하며, 각각 언어 모델에 적합하여 매칭을 수행한다.
• 쿼리-문서 매칭은 그래프 커버링 문제로 공식화되며, 관련성 점수는 문서가 쿼리 그래프의 정보를 얼마나 잘 커버하는지에 따라 결정된다.
• 가장 높은 성능을 내는 하이퍼파라미터를 도출하기 위해 클릭 기반 순위 집합을 기반으로 한 가중치 기반 순위 집합을 사용하는 새로운 비지도 모델 선택 알고리즘을 도입한다.
• 이 프레임워크는 쿨스타트 과학 문헌 검색 시스템에 통합되었으며, 유전자 세트 및 질병 연관성과 같은 실제 생물의학 쿼리에서 평가되었다.

실험 결과

연구 질문

• RQ1 다양한 유형의 엔티티를 포함하는 과학적 문헌 쿼리에서 비지도 순위 매기기 모델이 엔티티 간 관계를 효과적으로 포착할 수 있는가?
• RQ2 레이블이 부여된 관련성 평가 자료에 접근할 수 없는 상황에서 이러한 모델의 하이퍼파라미터 튜닝은 어떻게 수행할 수 있는가?
• RQ3 엔티티 유형과 관계를 모델링하는 것이 기준 비지도 모델 대비 엔티티-세트 쿼리의 순위 품질 향상에 뚜렷한 기여를 하는가?
• RQ4 가중치 기반 순위 집합을 기반으로 한 제안된 모델 선택 방법은 클릭 데이터만으로도 최적의 설정을 신뢰성 있게 식별할 수 있는가?

주요 결과

• SetRank는 S2 벤치마크에서 기준 비지도 모델 대비 평균 NDCG@20가 0.4011로 뚜렷한 성능 향상을 보였으며, 기준 모델의 0.3622보다 높았다.
• TREC Genomics 데이터셋에서 SetRank는 최고의 기준 모델 대비 NDCG@10에서 15.8%의 상대적 향상을 기록하여 복잡한 엔티티-세트 쿼리에서 강력한 효과를 입증했다.
• 가중치 기반 순위 집합을 기반으로 한 제안된 비지도 모델 선택 알고리즘이 레이블이 없는 데이터를 사용하여도 높은 성능을 내는 하이퍼파라미터 설정을 성공적으로 식별했으며, 분석 실험을 통해 검증되었다.
• 실제 생물의학 사례 연구에서 SetRank는 알츠하이머병과 관련된 유전자 연관성에 대해 다섯 편의 매우 관련성이 높은 논문을 검색했으며, 이들 모두가 쿼리에 포함된 다수의 유전자를 다루었다. 반면, PubMed는 수동 쿼리 재구성 후에도 오직 한 편의 관련성이 높은 결과만 반환했다.
• SetRank가 반환한 상위 두 편의 논문은 쿼리 세트의 여섯 개의 고유한 유전자를 모두 포함하여 경쟁 시스템 대비 전체 엔티티 세트의 커버리지가 뛰어나다는 것을 보여주었다.