[논문 리뷰] AGATHA: Automatic Graph-mining And Transformer based Hypothesis generation Approach

Justin Sybrandt, Ilya Tyagin외 2명|arXiv (Cornell University)|2020. 02. 13.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

AGATHA는 생물의학 문헌에서 문장 수준의 자연어 처리 기술을 사용하여 대규모 의미적 그래프를 구축하고, 학습된 표현을 통해 그래프를 임bedding화한 후, 트랜스포머 기반 모델을 활용해 새로운 연구 연결을 위한 유의미한 용어 쌍을 순위 매기는 딥러닝 기반 가설 생성 시스템이다. 2015년 기준 벤치마크에서 AUC 0.901의 최신 기술 성능을 달성하며, 다양한 하위 분야로의 일반화 능력이 뛰어나다.

ABSTRACT

Medical research is risky and expensive. Drug discovery, as an example, requires that researchers efficiently winnow thousands of potential targets to a small candidate set for more thorough evaluation. However, research groups spend significant time and money to perform the experiments necessary to determine this candidate set long before seeing intermediate results. Hypothesis generation systems address this challenge by mining the wealth of publicly available scientific information to predict plausible research directions. We present AGATHA, a deep-learning hypothesis generation system that can introduce data-driven insights earlier in the discovery process. Through a learned ranking criteria, this system quickly prioritizes plausible term-pairs among entity sets, allowing us to recommend new research directions. We massively validate our system with a temporal holdout wherein we predict connections first introduced after 2015 using data published beforehand. We additionally explore biomedical sub-domains, and demonstrate AGATHA's predictive capacity across the twenty most popular relationship types. This system achieves best-in-class performance on an established benchmark, and demonstrates high recommendation scores across subdomains. Reproducibility: All code, experimental data, and pre-trained models are available online: sybrandt.com/2020/agatha

연구 동기 및 목표

• 기하급수적으로 증가하는 문헌의 압도적 증가 속도에 대비해 생물의학적 발견 속도를 가속화하기 위한 도전 과제를 해결하기 위해 가설 생성을 자동화한다.
• 이전 시스템이 히وري스틱 순위 매기기, 수동 감시 또는 좁은 범위에 의존하는 데서 비롯되는 한계를 극복하기 위해 확장 가능하고 데이터 기반의 발견을 가능하게 한다.
• 최소한의 인간 간섭으로 대규모로 고품질의 교차 분야 연구 가설을 생성할 수 있는 시스템을 개발한다.
• 수백 건의 쿼리가 1초에 처리 가능한 고속·고처리량 쿼리 기능을 제공하여 다대다 가설 추천을 구현한다.
• 다양한 생물의학 하위 분야, 특히 희귀하거나 복잡한 관계 유형까지도 포함하여 벤치마크 데이터셋에서 뛰어난 성능을 달성하고, 다양한 하위 분야로의 일반화 능력을 확보한다.

제안 방법

• 생물의학 텍스트에서 문장 수준의 임베딩을 활용하여 SciBERT와 ScispaCy를 활용해 도메인 특화 자연어 처리 기법을 적용한 의미적 다층 그래프를 구축한다.
• 엔티티와 관계 간의 의미적 관계를 포괄하는 공유된 표현 공간을 통해 그래프를 임베딩한다.
• 그래프 내에서 용어 쌍 간의 문맥적 및 구조적 근접도를 기반으로 연결 가능성의 가능성을 예측하기 위해 트랜스포머 인코더 모델을 훈련한다.
• 이전 연구에서 사용된 히وري스틱 순위 매기기 기준을 대체하기 위해 지도 학습을 통해 학습된 엔드 투 엔드 미분 가능한 순위 매기기 함수를 도입한다.
• 시간적 보류 검증 전략을 적용하여 2015년 1월 1일 이전 데이터로 훈련하고, 이후에 도입된 연결 관계로 테스트한다.
• 20개의 생물의학 하위 분야에 모델을 적용하여 다양한 관계 유형에서 표준 벤치마크를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 문장 수준 의미적 그래프를 기반으로 훈련된 딥러닝 모델이 히وري스틱 기반 시스템보다 새로운 생물의학적 관계를 더 잘 예측할 수 있는가?
• RQ2 단일 통합 모델이 다양한 생물의학 하위 분야와 관계 유형에 얼마나 잘 일반화되는가?
• RQ3 규칙 기반 또는 경로 기반 방법에 비해 학습된 순위 매기기 기준이 유의미하고 이전에 발견되지 않은 연결을 얼마나 효과적으로 식별하는가?
• RQ4 시간적 보류 벤치마크에서 AGATHA는 2015년 이후에 도입된 연결 관계를 2015년 이전 데이터만으로도 예측할 수 있는가? 이는 미래 발견의 예측 타당성을 입증한다.
• RQ5 기존 모델인 GrEDeL이나 Moliere에 비해 트랜스포머 기반 아키텍처가 일반화 능력과 순위 매기기 품질을 향상시키는가?

주요 결과

• AGATHA는 2015년 기준 벤치마크에서 AUC 0.901을 기록하여 이전 최고 성능인 0.718보다 뚜렷한 향상을 이뤘다.
• 20개의 주요 생물의학 관계 유형 전반에서 뛰어난 성능을 보이며 광범위한 하위 분야 일반화 능력을 입증했다.
• 시간적 보류 검증 결과, 2015년 이후에 도입된 연결 관계를 2015년 이전 데이터만으로도 예측할 수 있음을 확인하여 예측 능력의 타당성을 입증했다.
• 모델은 고처리량 쿼리 기능(그래픽스 프로세서에서 초당 수백 건의 쿼리)을 제공하여 다대다 가설 추천을 실현 가능하게 했다.
• 학습된 순위 매기기 기준은 히وري스틱 기반 방법보다 우수한 성능을 보이며 수동 감시에 대한 의존도를 줄이고 발견 효율성을 향상시켰다.
• 시스템은 오픈소스로 공개되어 있으며, 사전 훈련된 모델과 소스 코드를 포함하고 있으며, 2015년 검증용 시스템과 최신 2019년 버전이 모두 공개되었다.