[논문 리뷰] Etymo: A New Discovery Engine for AI Research

Weijian Zhang, Jonathan Deakin외 2명|arXiv (Cornell University)|2018. 01. 25.

Topic Modeling참고 문헌 7인용 수 3

한 줄 요약

Etymo는 전체 텍스트 임bedding(Doc2Vec 및 TF-IDF)에서 유도된 유사도 기반 동적 네트워크를 활용하여 AI 연구 분야의 새로운 탐색 엔진을 제안한다. 이는 검색, 순위 매기기, 시각화 향상에 기여한다. 이 네트워크에서 PageRank와 Reverse PageRank를 결합하고 소셜 미디어 신호를 통합함으로써 Etymo는 전통적인 검색 방식을 뛰어넘어 관련성 있고 영향력 있는 최근 논문을 더 잘 노출시킨다. 예를 들어 't-sne'와 같은 검색어에서의 순위 향상으로 이를 입증하였다.

ABSTRACT

We present Etymo (https://etymo.io), a discovery engine to facilitate artificial intelligence (AI) research and development. It aims to help readers navigate a large number of AI-related papers published every week by using a novel form of search that finds relevant papers and displays related papers in a graphical interface. Etymo constructs and maintains an adaptive similarity-based network of research papers as an all-purpose knowledge graph for ranking, recommendation, and visualisation. The network is constantly evolving and can learn from user feedback to adjust itself.

연구 동기 및 목표

• 최근 급격히 증가하는 AI 문헌에서 인용 기반 순위 매기기가 신규 논문에 대해 실패하는 정보 과부하 문제를 해결한다.
• 목록 기반 검색 인터페이스의 한계를 극복하기 위해 순위 매겨진 결과와 함께 시각적 관계 탐색을 통합한다.
• 전체 텍스트 콘텐츠와 사용자 피드백을 활용해 확장 가능하고 적응 가능한 연구 논문 지식 그래프를 개발한다.
• 콘텐츠 유사도와 소셜 미디어 신호를 활용해 신규 및 부상 중인 연구에 대한 검색 관련성을 향상시킨다.
• 하이브리드 순위 매기기 및 시각화 시스템을 통해 학술적으로 중요한 논문과 최근 영향력 있는 논문을 모두 탐색할 수 있도록 한다.

제안 방법

• Doc2Vec 및 TF-IDF를 사용해 논문 전체 텍스트의 조밀한 벡터 표현 간 코사인 유사도를 계산하여 유사도 기반 네트워크를 구축한다.
• 인용에 의존하지 않고 유사도 기반 벡터 유사도를 활용해 매일 새로운 논문이 추가되는 동적 지식 그래프를 유지한다.
• 2차원 레이아웃과 상호작용 가능한 탐색을 위해 1000차원 논문 임베딩을 t-SNE를 사용해 감소시킨다.
• 표준 PageRank와 Reverse PageRank를 결합한 하이브리드 순위 매기기 모델을 적용하여 논문의 권위성과 허브 품질을 평가한다.
• 사용자 피드백과 소셜 미디어 활동(예: 트위터 리트윗)을 통합해 네트워크 연결성을 개선하고 노이즈를 걸러낸다.
• 순위 매겨진 결과를 목록으로 표시하는 동시에 논문 간 관계를 보여주는 상호작용 가능한 그래프를 함께 제공하는 이중 인터페이스 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 인용 수가 없을 경우, 전체 텍스트 임베딩에서 파생된 유사도 기반 네트워크가 신규 AI 연구 논문의 순위 매기기와 추천에 효과적으로 작용할 수 있는가?
• RQ2 PageRank와 Reverse PageRank를 결합함으로써 단일 방법 사용 대비 검색 결과의 관련성은 얼마나 향상되는가?
• RQ3 소셜 미디어 신호와 사용자 피드백을 통합할 경우, 콘텐츠 기반 논문 추천 시스템의 강건성과 정확도는 어느 정도 향상되는가?
• RQ4 순위 매겨진 결과와 함께 논문 간 관계를 시각화하면 연구자가 관련 및 중요한 자료를 찾는 데 소요되는 시간이 줄어드는가?
• RQ5 이 시스템은 기존의 구글 색슨과 같은 전통적 검색 엔진에 비해 특정 주제에서 학술적 기초 논문과 부상 중인 논문을 검색하는 데 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 검색어 't-sne'에 대해 Etymo는 네트워크 기반 평가(페이지랭크 + 리버스 페이지랭크)를 적용하여 2008년 van der Maaten과 Hinton의 기초 논문을 첫 번째로 정렬했다.
• 네트워크 기반 평가의 통합은 결과 품질을 크게 향상시켜 기존의 기반(비네트워크) 순위 매기기보다 역사적으로 중요한 논문과 관련성이 높은 논문을 더 높은 순위로 올렸다.
• Etymo의 결과는 기존의 골드 색슨이 오래된 또는 더 구체적이지 않은 논문을 우선시하는 것에 비해, 더 최근이자 관련성이 높은 논문들—예를 들어 2017년 자동 퍼플렉서티 선택에 관한 논문—을 포함하고 있었다.
• 이 시스템은 t-SNE의 주요 후속 연구—예를 들어 van der Maaten의 2014년 가속화 논문과 2017년 효율적 알고리즘 논문—을 성공적으로 식별하고 순위 매겼다. 이는 관련 연구의 강력한 검색 능력을 보여준다.
• 하이브리드 순위 매기기 모델은 순수 PageRank나 HITS보다 뛰어난 성능을 보였으며, 기초 논문과 부상 중인 연구 모두에 대해 정밀도 향상이 가능함을 입증했다.
• 시각적 그래프 탐색 통합으로 사용자는 상위 순위 논문과 그 상호 연결성을 동시에 볼 수 있었으며, 골드 색슨에서처럼 여러 '관련 기사' 링크를 클릭해 들어가야 하는 번거로움을 줄였다.