[논문 리뷰] Wasserstein Adversarial Autoencoders for Knowledge Graph Embedding based Drug-Drug Interaction Prediction.

Yuanfei Dai, Chenhao Guo외 2명|arXiv (Cornell University)|2020. 04. 15.

Computational Drug Discovery Methods인용 수 2

한 줄 요약

이 논문은 약물-약물 상호작용(DDI) 예측을 위한 지식 그래프 임베딩에서 고품질의 음성 샘플을 생성하기 위해 Gumbel-Softmax 리laxation과 워샤르스타인 거리를 활용한 워샤르스타인 적대적 오토에인드코더(WAAE) 프레임워크를 제안한다. 적대적 학습을 통해 음성 샘플 품질을 향상시키고 학습을 안정화시킴으로써, 링크 예측 및 DDI 분류 작업에서 기존 베이스라인보다 유의하게 뛰어난 성능을 달성한다.

ABSTRACT

Interaction between pharmacological agents can trigger unexpected adverse events. Capturing richer and more comprehensive information about drug-drug interactions (DDI) is one of the key tasks in public health and drug development. Recently, several knowledge graph embedding approaches have received increasing attention in the DDI domain due to their capability of projecting drugs and interactions into a low-dimensional feature space for predicting links and classifying triplets. However, existing methods only apply a uniformly random mode to construct negative samples. As a consequence, these samples are often too simplistic to train an effective model. In this paper, we propose a new knowledge graph embedding framework by introducing adversarial autoencoders (AAE) based on Wasserstein distances and Gumbel-Softmax relaxation for drug-drug interactions tasks. In our framework, the autoencoder is employed to generate high-quality negative samples and the hidden vector of the autoencoder is regarded as a plausible drug candidate. Afterwards, the discriminator learns the embeddings of drugs and interactions based on both positive and negative triplets. Meanwhile, in order to solve vanishing gradient problems on the discrete representation--an inherent flaw in traditional generative models--we utilize the Gumbel-Softmax relaxation and the Wasserstein distance to train the embedding model steadily. We empirically evaluate our method on two tasks, link prediction and DDI classification. The experimental results show that our framework can attain significant improvements and noticeably outperform competitive baselines.

연구 동기 및 목표

• 기존의 지식 그래프 임베딩 모델에서 약물-약물 상호작용(DDI) 예측을 위한 균일한 무작위 음성 샘플링의 한계를 해결하기 위해.
• 더 현실적인 음성 약물 상호작용 후보를 생성함으로써 모델의 일반화 능력과 학습 안정성을 향상시키기 위해.
• 기존 생성 모델에서 흔히 발생하는 이산 표현 학습에서의 기울기 소실 문제를 해결하기 위해.
• 더 강력한 적대적 학습 프레임워크를 사용하여 링크 예측 및 DDI 분류 작업 모두에서 성능을 향상시키기 위해.

제안 방법

• 약물의 잠재 표현을 학습함으로써 음성 샘플을 생성하기 위해 오토에인드코더를 활용하며, 은닉 벡터를 현실적인 약물 후보로 간주한다.
• 실제 양성 트리플릿과 생성된 음성 트리플릿을 구분하기 위해 워샤르스타인 거리를 사용하는 판별자(discriminator)를 도입하여 안정적인 학습을 확보한다.
• 이산 분포에서의 미분 가능 샘플링을 가능하게 하여 이산 잠재 공간 최적화에서의 기울기 소실 문제를 완화하기 위해 Gumbel-Softmax 리laxation을 적용한다.
• 생성자(오토에인드코더)가 음성 샘플 품질을 향상시키고 판별자가 임베딩을 개선하도록, 오토에인드코더와 판별자를 함께 학습한다.
• 표준 GAN 목표함수에 비해 더 안정적이고 의미 있는 학습 역학을 보장하기 위해, GAN 손실로 워샤르스타인 거리를 사용한다.
• 링크 예측과 트리플릿 분류를 모두 수행할 수 있는 저차원 임베딩 공간으로 약물과 상호작용을 투영한다.

실험 결과

연구 질문

• RQ1 적대적으로 학습된 음성 샘플은 지식 그래프 임베딩 모델의 약물-약물 상호작용 예측 성능을 향상시킬 수 있는가?
• RQ2 Gumbel-Softmax 리laxation의 통합은 DDI 모델링을 위한 이산 표현 학습에서의 학습 안정성을 어떻게 향상시키는가?
• RQ3 GAN 프레임워크에서 워샤르스타인 거리를 사용할 경우, 생성된 음성 샘플의 품질과 후속 예측 정확도는 어느 정도 향상되는가?
• RQ4 제안된 WAAE 프레임워크는 링크 예측 및 DDI 분류 작업 모두에서 기존의 지식 그래프 임베딩 모델을 초월하는가?

주요 결과

• 제안된 WAAE 프레임워크는 경쟁력 있는 베이스라인 대비 링크 예측 성능에서 유의미한 향상을 달성한다.
• 모델은 DDI 분류 정확도에서 뚜렷한 향상을 보이며, 상호작용 패턴에 대한 더 나은 표현 학습 능력을 나타낸다.
• Gumbel-Softmax 리laxation의 사용은 이산 잠재 공간 최적화에서의 기울기 소실 문제를 효과적으로 완화한다.
• 워샤르스타인 거리의 통합은 더 안정적인 학습 역학과 향상된 판별자 성능을 이끌어낸다.
• 오토에인드코더가 생성한 음성 샘플은 균일한 무작위 음성 샘플보다 더 현실적이며 의미적으로 더 풍부하다.
• 실증적 평가 결과, 이 프레임워크는 링크 예측 및 DDI 분류 벤치마크에서 모두 최신 기술을 일관되게 능가함을 확인한다.