[論文レビュー] Deep Learning for Computational Chemistry

Garrett B. Goh, Nathan O. Hodas+1 more|arXiv (Cornell University)|Jan 17, 2017

Machine Learning in Materials Science参考文献 15被引用数 48

ひとこと要約

この論文は、計算化学における深層学習の応用をレビューし、QSAR、バーチャルスクリーニング、タンパク質構造予測、材料物性予測などの多様なタスクにおいて、従来の機械学習手法を上回ることを示している。GPUアクセラレーションと大規模な化学データセットのおかげで、深層ニューラルネットワークが、さまざまな分野で一貫して先行する最先端モデルを上回り、複数の分野で性能の限界を打ち破っていることを強調している。

ABSTRACT

The rise and fall of artificial neural networks is well documented in the scientific literature of both computer science and computational chemistry. Yet almost two decades later, we are now seeing a resurgence of interest in deep learning, a machine learning algorithm based on multilayer neural networks. Within the last few years, we have seen the transformative impact of deep learning in many domains, particularly in speech recognition and computer vision, to the extent that the majority of expert practitioners in those field are now regularly eschewing prior established models in favor of deep learning models. In this review, we provide an introductory overview into the theory of deep neural networks and their unique properties that distinguish them from traditional machine learning algorithms used in cheminformatics. By providing an overview of the variety of emerging applications of deep neural networks, we highlight its ubiquity and broad applicability to a wide range of challenges in the field, including QSAR, virtual screening, protein structure prediction, quantum chemistry, materials design and property prediction. In reviewing the performance of deep neural networks, we observed a consistent outperformance against non-neural networks state-of-the-art models across disparate research topics, and deep neural network based models often exceeded the "glass ceiling" expectations of their respective tasks. Coupled with the maturity of GPU-accelerated computing for training deep neural networks and the exponential growth of chemical data on which to train these networks on, we anticipate that deep learning algorithms will be a valuable tool for computational chemistry.

研究の動機と目的

• 深層ニューラルネットワークとその化学情報学における従来の機械学習手法との独自の優位性について包括的な概説を行うこと。
• 創薬や材料設計といった計算化学の主要な課題に、深層学習がどのように広く適用可能であるかを検討すること。
• 深層学習モデルが、多様な化学的予測タスクにおいて、非ニューラルネットワークの最先端モデルを一貫して上回ることを実証すること。
• 大規模な化学データとGPUアクセラレートされた学習が、化学分野における深層学習の成功を可能にしている役割を強調すること。
• 深層学習を、今後の計算化学研究における変革的で不可欠なツールとして位置づけること。

提案手法

• 本論文はレビュー型の手法を採用し、化学的問題に深層ニューラルネットワークを適用した複数の研究の知見を統合している。
• 階層的特徴抽出を可能にする多層ニューラルネットワークに焦点を当てており、複雑な分子パターンの自動抽出を実現している。
• コアとなる技術には、順方向ネットワーク、畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）が含まれ、分子データ表現に適応されている。
• 大規模な化学データセットを用いてモデルを学習し、効率的な最適化のためGPUアクセラレーションを活用している。
• さまざまなアーキテクチャとタスクにおける性能をレビューし、非深層学習のベンチマークと比較評価している。
• 生の分子入力（例：SMILES、2次元／3次元構造）を直接ターゲット特性にマップするエンドツーエンド学習の活用を強調している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、化学的物性や活性を予測する際、従来の機械学習モデルと比べてどのように異なるか？
• RQ2 深層学習は、どの計算化学タスクで、先行する最先端手法を一貫して上回る性能向上を示すか？
• RQ3 大規模な化学データセットとGPUアクセラレートされた学習は、化学分野における深層学習の成功をどのように支援しているか？
• RQ4 深層学習モデルは、タンパク質構造予測や材料設計といった困難なタスクにおいて、いわゆる「ガラスの壁」を打ち破ることができるか？
• RQ5 分子データに効果的に機能させるために、深層学習を可能にする主なアーキテクチャ的要素と学習戦略は何か？

主な発見

• 深層ニューラルネットワークは、QSARやバーチャルスクリーニングを含む多様な計算化学タスクにおいて、非ニューラルネットワークの最先端モデルを一貫して上回っている。
• タンパク質構造予測の分野では、深層学習モデルが過去の性能限界を上回り、精度の顕著な飛躍を示した。
• 材料物性予測においては、従来の手法よりも高い予測精度を達成しており、とくに複雑なまたは高次元の入力に対して顕著である。
• 大規模な化学データベースとGPUコンピューティングを統合した深層学習により、従来のアプローチよりも高速かつ高精度な予測が可能になった。
• 本論文は、深層学習モデルが、それぞれの分野で「ガラスの壁」とも呼ばれる性能の期待値を超える傾向を示しており、変革的潜在能力を示していると観察している。
• 化学分野における深層学習の成功は、手作業で作成された記述子に依存するのを減らし、生の分子入力から階層的表現を直接学習できる能力に起因している。