[論文レビュー] Wasserstein Adversarial Autoencoders for Knowledge Graph Embedding based Drug-Drug Interaction Prediction.

Yuanfei Dai, Chenhao Guo+2 more|arXiv (Cornell University)|Apr 15, 2020

Computational Drug Discovery Methods被引用数 2

ひとこと要約

本稿では、Gumbel-Softmax緩和とWasserstein距離を活用して、薬物-薬物相互作用（DDI）予測における知識グラフ埋め込みのための高品質なネガティブサンプルを生成する、Wasserstein対抗自己オートエンコーダー（WAAE）フレームワークを提案する。対抗学習によるネガティブサンプル品質の向上と訓練の安定化により、リンク予測およびDDI分類タスクにおいて、既存のベースラインを著しく上回る性能を発揮する。

ABSTRACT

Interaction between pharmacological agents can trigger unexpected adverse events. Capturing richer and more comprehensive information about drug-drug interactions (DDI) is one of the key tasks in public health and drug development. Recently, several knowledge graph embedding approaches have received increasing attention in the DDI domain due to their capability of projecting drugs and interactions into a low-dimensional feature space for predicting links and classifying triplets. However, existing methods only apply a uniformly random mode to construct negative samples. As a consequence, these samples are often too simplistic to train an effective model. In this paper, we propose a new knowledge graph embedding framework by introducing adversarial autoencoders (AAE) based on Wasserstein distances and Gumbel-Softmax relaxation for drug-drug interactions tasks. In our framework, the autoencoder is employed to generate high-quality negative samples and the hidden vector of the autoencoder is regarded as a plausible drug candidate. Afterwards, the discriminator learns the embeddings of drugs and interactions based on both positive and negative triplets. Meanwhile, in order to solve vanishing gradient problems on the discrete representation--an inherent flaw in traditional generative models--we utilize the Gumbel-Softmax relaxation and the Wasserstein distance to train the embedding model steadily. We empirically evaluate our method on two tasks, link prediction and DDI classification. The experimental results show that our framework can attain significant improvements and noticeably outperform competitive baselines.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルにおける一様なランダムネガティブサンプリングの限界を是正すること。
• より現実的な薬物相互作用候補を生成することで、モデルの一般化性能と訓練の安定性を向上させること。
• 従来の生成モデルに共通する離散表現学習における勾配消失問題を克服すること。
• より頑健な対抗学習フレームワークを用いて、リンク予測およびDDI分類タスクの両方での性能を向上させること。

提案手法

• 薬物の潜在表現を学習することで、高品質なネガティブサンプルを生成するためのオートエンコーダーを採用し、隠れベクトルを現実的な薬物候補として扱う。
• Wasserstein距離を用いて、実際のポジティブトリプルと生成されたネガティブトリプルを区別するディスクラミネーターを導入し、安定した訓練を実現する。
• 離散分布からの微分可能なサンプリングを可能にするために、Gumbel-Softmax緩和を適用し、離散潜在空間における勾配消失問題を軽減する。
• 生成器（オートエンコーダー）がネガティブサンプルの品質を向上させ、ディスクラミネーターが埋め込みを精緻化するように、オートエンコーダーとディスクラミネーターを同時に訓練する。
• 標準的なGAN目的関数と比較して、より安定的で意味のある訓練ダイナミクスを保証するため、GAN損失としてWasserstein距離を用いる。
• 両方のタスクであるリンク予測とトリプル分類を実行できる低次元埋め込み空間に、薬物および相互作用を射影する。

実験結果

リサーチクエスチョン

• RQ1 対抗的に学習されたネガティブサンプルは、薬物-薬物相互作用予測における知識グラフ埋め込みモデルの性能を向上させることができるか？
• RQ2 Gumbel-Softmax緩和の統合は、DDIモデリングにおける離散表現学習の訓練安定性をどのように向上させるか？
• RQ3 GANフレームワークにおけるWasserstein距離の使用が、生成されたネガティブサンプルの品質および下流の予測精度をどの程度向上させるか？
• RQ4 提案されたWAAEフレームワークは、リンク予測およびDDI分類タスクの両方において、既存の知識グラフ埋め込みモデルを上回る性能を発揮するか？

主な発見

• 提案されたWAAEフレームワークは、競合するベースラインと比較して、リンク予測性能において顕著な向上を達成した。
• モデルはDDI分類精度において顕著な向上を示し、相互作用パターンのより良い表現学習が可能であることを示している。
• Gumbel-Softmax緩和の使用は、離散潜在空間最適化における勾配消失問題を効果的に軽減した。
• Wasserstein距離の統合により、より安定した訓練ダイナミクスと向上したディスクラミネーター性能が得られた。
• オートエンコーダーが生成したネガティブサンプルは、一様なランダムネガティブサンプルと比較して、より現実的で意味的に意味のあるものであった。
• 実験的評価により、フレームワークがリンク予測およびDDI分類ベンチマークの両方で、最先端の手法を一貫して上回ることが確認された。