[論文レビュー] Low Data Drug Discovery with One-shot Learning

Han Altae-Tran, Bharath Ramsundar+2 more|arXiv (Cornell University)|Nov 10, 2016

Computational Drug Discovery Methods参考文献 1被引用数 16

ひとこと要約

本論文では、最小限の学習データから意味のある分子類似性メトリクスを学習するため、新しい残差LSTM埋め込みアーキテクチャとグラフ畳み込みニューラルネットワーク（GCNs）を組み合わせたワンショット学習アプローチを提案する。この手法は、小規模データ環境下での予測性能を顕著に向上させ、DeepChemを通じてオープンソースでモデルを公開している。

ABSTRACT

Recent advances in machine learning have made significant contributions to drug discovery. Deep neural networks in particular have been demonstrated to provide significant boosts in predictive power when inferring the properties and activities of small-molecule compounds. However, the applicability of these techniques has been limited by the requirement for large amounts of training data. In this work, we demonstrate how one-shot learning can be used to significantly lower the amounts of data required to make meaningful predictions in drug discovery applications. We introduce a new architecture, the residual LSTM embedding, that, when combined with graph convolutional neural networks, significantly improves the ability to learn meaningful distance metrics over small-molecules. We open source all models introduced in this work as part of DeepChem, an open-source framework for deep-learning in drug discovery.

研究の動機と目的

• 従来のディープラーニングが大量のデータを必要とするが、薬物発見においてラベル付きデータが限られるという課題に対処すること。
• 具体的には、化合物1つあたり1〜数例のラベル付き例でのみ学習可能な、分子特性および生物学的活性の正確な予測を可能にすること。
• 初期段階の薬物発見で一般的な低データ環境においても、一般化性能が優れる代表表現学習フレームワークの構築。
• 小規模データ環境下での類似性学習に適した、分子埋め込み品質を向上させる新しいニューラルアーキテクチャの導入。
• DeepChemのオープンソースフレームワークを通じて、すべてのモデルを公開し、コミュニティの採用促進と研究の再現可能性を高めること。

提案手法

• SMILES文字列から分子グラフの階層的表現を学習するための残差LSTM埋め込みモジュールを提案する。
• 残差LSTMをグラフ畳み込みニューラルネットワーク（GCNs）と統合し、分子構造と特性の関係を同時に学習する。
• 対照的損失を用いたシアンプスネットワークアーキテクチャで、分子ペア間の意味のある距離メトリクスを学習する。
• 各クラス（分子）がトレーニング中に1つまたは数個のラベル付き例しか持たない、少データ学習プロトコルを採用する。
• 大規模な分子データセットで事前学習を行い、その後低データの下流タスクに微調整することで、トランスファー学習を活用する。
• 一般化性能と低データ状況下での埋め込み分離を向上させるために、三重項損失と対照的損失を最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 最小限のラベル付きデータで、ワンショット学習を薬物発見における分子特性予測に効果的に適用できるか？
• RQ2 低データ環境下において、標準アーキテクチャと比較して、残差LSTM埋め込みがどのように分子表現学習を改善するか？
• RQ3 GCNsとワンショット学習を組み合わせることで、データが不足する状況下で予測精度がどの程度向上するか？
• RQ4 化合物1例のラベルのみで、多様な分子クラスや特性タイプ（溶解度、毒性、バイオアクティビティなど）に一般化できるか？
• RQ5 データが極めて限られた状況下で、本手法の性能が標準的なディープラーニングベースラインと比べてどの程度優れるか？

主な発見

• 提案された残差LSTM埋め込みとGCNsの組み合わせは、低データ分子特性予測タスクで最先端の性能を達成した。
• 化合物1〜数例の学習データでのみトレーニングした場合、標準的なディープラーニングベースラインを著しく上回った。
• シアンプスネットワークと対照的損失により、最小限の教師信号でも分子類似性の有効な学習が可能となった。
• 溶解度、毒性、バイオアクティビティを含む多様な分子クラスや特性タイプに、良好な一般化性能を示した。
• DeepChemに公開されたモデルは、実世界の薬物発見プロセスにおいて、高い再現性と使いやすさを示した。
• アーキテクチャにより、意味のあるゼロショットおよび少データ転移学習が可能となり、初期段階の薬物発見における大規模なアノテート済みデータセットの必要性が低減された。