[논문 리뷰] Relation Matters in Sampling: A Scalable Multi-Relational Graph Neural Network for Drug-Drug Interaction Prediction

Arthur Feeney, Rishabh Gupta외 5명|arXiv (Cornell University)|2021. 05. 28.

Advanced Graph Neural Networks참고 문헌 21인용 수 8

한 줄 요약

이 논문은 약물-약물 상호작용(DDI) 예측을 향상시키기 위해 관계별로 샘플링 확률을 학습하는 확장 가능한 다중관계 그래프 신경망인 RS-GCN을 제안한다. 국소적 주변 구조 통계에 기반해 REINFORCE 기반 접근법을 사용해 다양한 관계 유형에 대해 샘플링 가중치를 적응적으로 할당함으로써, 비샘플링 기반 모델 대비 훈련 속도 2.47배 빠르고 추론 속도 1.92배 빠르며, DDI 데이터의 클래스 불균형 문제를 효과적으로 다룰 수 있다.

ABSTRACT

Sampling is an established technique to scale graph neural networks to large graphs. Current approaches however assume the graphs to be homogeneous in terms of relations and ignore relation types, critically important in biomedical graphs. Multi-relational graphs contain various types of relations that usually come with variable frequency and have different importance for the problem at hand. We propose an approach to modeling the importance of relation types for neighborhood sampling in graph neural networks and show that we can learn the right balance: relation-type probabilities that reflect both frequency and importance. Our experiments on drug-drug interaction prediction show that state-of-the-art graph neural networks profit from relation-dependent sampling in terms of both accuracy and efficiency.

연구 동기 및 목표

• 약물-약물 상호작용(DDI) 네트워크와 같은 대규모이고 조밀하며 다중관계적인 생물의학적 그래프에서 그래프 신경망(GNN)의 확장성 문제를 해결하기 위해.
• 이웃 샘플링에서 빈도 외에도 관계 유형의 중요도를 모델링하여 DDI 그래프에서 링크 예측 성능을 향상시키기 위해.
• 국소적 이웃 통계에 적응하는 학습 가능한 샘플링 전략을 개발하여 정확도와 효율성을 모두 향상시키기 위해.
• 빈도와 작업에 특화된 중요도를 반영하는 관계별 확률을 학습함으로써 샘플링의 해석 가능성을 제공하기 위해.

제안 방법

• 관계에 의존하는 샘플링 확률을 포함하는 관계 기반 그래프 컬러션 네트워크(R-GCN)의 확장판인 RS-GCN을 제안한다.
• 링크 예측 성능 최적화를 위해 REINFORCE 기반 강화학습 접근법을 사용해 각 관계 유형별로 학습 가능한 샘플링 확률을 도입한다.
• 목표 엣지의 양 끝 노드 주변의 이웃을 샘플링하며, 관계 유형의 확률은 국소적 이웃의 간선 유형 분포에 기반해 업데이트된다.
• 관계 유형별로 적응적인 샘플링을 가능하게 하는 미분 가능한 샘플링 메커니즘을 사용하여 엔드 투 엔드 훈련 및 추론을 지원한다.
• 모델 표현력을 유지하면서도 확장성을 향상시키기 위해 관계별 메시지 전파와 샘플링을 포함하는 GAE 기반 아키텍처를 활용한다.
• 전체 데이터 통계와 국소적 이웃 컨텍스트를 활용해 희귀하지만 중요한 관계 유형에 대해 더 높은 샘플링 가중치를 동적으로 할당한다.

실험 결과

연구 질문

• RQ1 관계별로 학습 가능한 샘플링 확률이 대규모이고 조밀하며 다중관계적인 DDI 그래프에서 GNN의 성능과 효율성을 향상시킬 수 있는가?
• RQ2 RS-GCN가 학습한 관계 유형 확률이 고정 전략(역빈도 또는 무작위 샘플링)과 비교해 예측 정확도와 런타임 측면에서 어떻게 성능을 내는가?
• RQ3 관계에 의존하는 샘플링 전략이 희귀한 상호작용 유형에 특히 유의미한 영향을 미치는 DDI 예측의 클래스 불균형 문제를 어느 정도 해결하는가?
• RQ4 학습된 샘플링 확률이 링크 예측에 가장 유용한 관계 유형을 해석 가능한 방식으로 제공할 수 있는가?

주요 결과

• Twosides100 데이터셋에서 비샘플링 R-GAE 기반 모델 대비 RS-GCN은 PR-AUC 성능을 유지하면서도 훈련 속도 2.47배 빠르고 추론 속도 1.92배 빠르다.
• Twosides100 및 Drugbank 데이터셋 양쪽에서 RS-GCN은 IFR-GAE 및 RW-GCN과 같은 최신 기준 모델들을 초월하는 예측 성능을 기록한다.
• 모델은 관계 유형의 빈도와 작업에 특화된 중요도를 반영하는 샘플링 확률을 학습하며, Twosides100에서 '외상성 출혈'과 같은 희귀하지만 핵심적인 상호작용에 대해 높은 가중치를 할당한다.
• Drugbank에서는 가장 빈번한 DDI 유형('부작용 위험 또는 심각도 증가')에 대해 가장 낮은 샘플링 확률이 할당되고, 가장 희귀한 유형('하이퍼칼레미아 위험 또는 심각도 증가')에는 가장 높은 확률이 할당되어 클래스 불균형 문제를 효과적으로 다루고 있음을 보여준다.
• 학습된 확률은 전역적으로 고정되어 있지 않고 국소적 이웃 구조에 따라 적응적으로 변화하므로, 고정된 역빈도 전략보다 더 우수한 일반화 성능을 보인다.
• 시각화 결과는 조건이 동일한 간선 유형 빈도를 가진 이웃에 대해서도 RS-GCN이 IFR-GAE와 다른 확률을 할당함을 보여주며, 빈도 기반 가중치를 초월한 작업 인식적 적응을 수행하고 있음을 입증한다.