[논문 리뷰] edge2vec: Representation learning using edge semantics for biomedical knowledge discovery

Zheng Gao, Gang Fu외 9명|arXiv (Cornell University)|2018. 09. 07.

Bioinformatics and Genomic Networks참고 문헌 42인용 수 9

한 줄 요약

edge2vec는 기대값 최대화와 확률적 경사 하강법을 통해 훈련된 간선 유형 전이 행렬을 통해 이질적 생물의학 지식 그래프에서 간선 의미를 명시적으로 모델링함으로써 노드 임베딩을 향상시키는 새로운 표현 학습 모델이다. 이는 다양한 생물학적 실체 간의 관계적 의미를 활용하여 생물의학적 실체 분류, 복합체-유전자 생물활성 예측, 정보 검색에서 최신 기술을 뛰어넘는 성능을 보이며, 생물의학 지식 탐색에 크게 기여한다.

ABSTRACT

Representation learning provides new and powerful graph analytical approaches and tools for the highly valued data science challenge of mining knowledge graphs. Since previous graph analytical methods have mostly focused on homogeneous graphs, an important current challenge is extending this methodology for richly heterogeneous graphs and knowledge domains. The biomedical sciences are such a domain, reflecting the complexity of biology, with entities such as genes, proteins, drugs, diseases, and phenotypes, and relationships such as gene co-expression, biochemical regulation, and biomolecular inhibition or activation. Therefore, the semantics of edges and nodes are critical for representation learning and knowledge discovery in real world biomedical problems. In this paper, we propose the edge2vec model, which represents graphs considering edge semantics. An edge-type transition matrix is trained by an Expectation-Maximization approach, and a stochastic gradient descent model is employed to learn node embedding on a heterogeneous graph via the trained transition matrix. edge2vec is validated on three biomedical domain tasks: biomedical entity classification, compound-gene bioactivity prediction, and biomedical information retrieval. Results show that by considering edge-types into node embedding learning in heterogeneous graphs, extbf{edge2vec}\ significantly outperforms state-of-the-art models on all three tasks. We propose this method for its added value relative to existing graph analytical methodology, and in the real world context of biomedical knowledge discovery applicability.

연구 동기 및 목표

• 기존의 그래프 표현 학습 방법이 동종 그래프에 집중하고 이질적 생물의학 지식 그래프의 풍부한 관계적 의미를 포착하지 못하는 한계를 해결하기 위해.
• 다양한 생물학적 실체 간의 의미적 다양성(예: 유전자 조절, 약물 억제)을 간선으로 모델링함으로써 복잡한 생물의학 분야에서 지식 탐색을 향상시키기 위해.
• 노드의 내용과 연결하는 관계의 유형을 반영하는 노드 임베딩을 학습하기 위한 확장 가능하고 효과적인 방법을 개발하기 위해.
• 모델의 유효성을 다양한 실제 생물의학 작업에서 검증하여, 합성 벤치마크를 넘어서는 실용성을 입증하기 위해.
• 분류, 예측, 검색과 같은 후행 작업을 향상시키는 새로운 그래프 표현 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 이질적 그래프에서 다양한 간선 유형 간 전이 확률을 모델링하기 위해 기대값 최대화 알고리즘을 사용하여 훈련된 간선 유형 전이 행렬을 도입한다.
• 학습된 간선 유형 전이 행렬을 사전으로 사용하여 확률적 경사 하강법을 통해 노드 임베딩을 학습함으로써 최적화 과정에서 관계적 의미를 통합할 수 있도록 한다.
• 모델은 각 간선 유형을 별개의 관계로 간주하여 활성화, 억제, 공발현 등의 다양한 생물학적 상호작용을 구분할 수 있도록 한다.
• 기존의 노드 임베딩 기법(예: node2vec)을 확장하여 무작위 보행 과정에 간선 유형 정보를 통합함으로써 보행 전략을 관계 인식 가능하게 한다.
• 노드 기능과 간선 의미를 함께 밀도 있는 벡터 표현으로 인코딩하는 다중관계적 그래프 표현 학습을 지원한다.
• 최종 노드 임베딩는 분류, 예측, 검색과 같은 후행 작업의 입력으로 사용되며, 실제 생물의학 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이질적 그래프에서 간선 의미를 모델링하면 생물의학 지식 탐색을 위한 노드 표현 학습이 향상되는가?
• RQ2 간선 유형 정보를 통합하면 생물의학 실체 분류 작업의 성능에 어떤 영향을 미치는가?
• RQ3 기존 방법에 비해 edge2vec은 복합체-유전자 생물활성 예측에서 얼마나 향상되는가?
• RQ4 edge2vec은 관계적 맥락을 포착함으로써 생물의학 정보 검색 정확도를 향상시키는가?
• RQ5 명시적으로 간선 유형을 모델링하는 표현 학습 모델은 다양한 생물의학 작업에 일반화되는가?

주요 결과

• edge2vec은 생물의학 실체 분류에서 최신 기술을 뛰어넘는 성능을 보이며, 간선 의미를 활용함으로써 더 높은 정확도를 달성한다.
• 복합체-유전자 생물활성 예측에서 edge2vec은 뛰어난 성능을 보이며, 이는 관계적 맥락이 분자의 상호작용 예측 모델링에 기여함을 시사한다.
• 생물의학 정보 검색에서 edge2vec은 더 높은 검색 정확도를 달성하여, 간선 인식 임베딩이 의미 매칭을 향상시킨다는 것을 보여준다.
• 모델의 성능 향상은 평가된 세 가지 작업 전반에서 일관되게 나타나, 이질적 그래프에서 간선 유형 모델링의 가치를 확인한다.
• EM로 학습된 간선 유형 전이 행렬을 사용함으로써 더 효과적이고 맥락 인식 가능한 무작위 보행이 가능해져 더 나은 노드 표현을 도출한다.
• 결과는 복잡한 생물의학 그래프에서 관계가 다양하고 생물학적으로 의미 있는 만큼 간선 의미가 지식 탐색에 핵심적이라는 것을 검증한다.