[論文レビュー] How Much Chemistry Does a Deep Neural Network Need to Know to Make Accurate Predictions?

Garrett B. Goh, Charles Siegel+3 more|arXiv (Cornell University)|Oct 5, 2017

Computational Drug Discovery Methods被引用数 5

ひとこと要約

この論文は、深層ニューラルネットワーク、具体的にはChemceptionの拡張版（AugChemception）が、ネットワークアーキテクチャを変更せずに、入力画像に3つの追加の基本的化学的特徴を組み込むことで、毒性、活性、および溶媒化自由エネルギーといった化学的性質の予測において優れた精度を達成できることを示している。モデルの性能は、既存の化学的知識と整合しており、高精度な予測には高度な分野専門知識を必要としないことが示された。

ABSTRACT

The meteoric rise of deep learning models in computer vision research, having achieved human-level accuracy in image recognition tasks is firm evidence of the impact of representation learning of deep neural networks. In the chemistry domain, recent advances have also led to the development of similar CNN models, such as Chemception, that is trained to predict chemical properties using images of molecular drawings. In this work, we investigate the effects of systematically removing and adding localized domain-specific information to the image channels of the training data. By augmenting images with only 3 additional basic information, and without introducing any architectural changes, we demonstrate that an augmented Chemception (AugChemception) outperforms the original model in the prediction of toxicity, activity, and solvation free energy. Then, by altering the information content in the images, and examining the resulting model's performance, we also identify two distinct learning patterns in predicting toxicity/activity as compared to solvation free energy. These patterns suggest that Chemception is learning about its tasks in the manner that is consistent with established knowledge. Thus, our work demonstrates that advanced chemical knowledge is not a pre-requisite for deep learning models to accurately predict complex chemical properties.

研究の動機と目的

• 深層ニューラルネットワークが、複雑な化学的性質を正確に予測するためには、広範な化学的知識を必要とするのかを調査すること。
• 画像ベースの分子表現に分野特有の情報を組み込む影響を評価すること。
• モデルの性能が、既存の化学的原則と相関しているかどうかを特定すること。
• 毒性・活性と溶媒化自由エネルギーを予測する際の、異なる学習パターンを同定すること。

提案手法

• 原子種、混成状態、形式的酸化状態という3つの基本的化学的特徴を分子画像入力に追加すること。
• ネットワークアーキテクチャを変更せずに、これらの拡張された画像で畳み込みニューラルネットワーク（Chemception）を訓練すること。
• 局所的な化学的情報を系統的に削除・追加することで、その影響がモデル性能に与える影響を評価すること。
• 毒性、活性、溶媒化自由エネルギーの3つのタスクにおける予測精度を比較すること。
• 化学的知識と整合する学習パターンを特定するために、モデルの挙動を分析すること。
• すべての実験で同一のモデルアーキテクチャを用いることで、入力情報の影響を明確に分離すること。

実験結果

リサーチクエスチョン

• RQ1 分子画像に最小限の化学的情報を追加することで、深層学習モデルの化学的性質予測性能にどのような影響を与えるか？
• RQ2 拡張された画像で訓練されたモデルは、既存の化学的原則と整合する学習パターンを示すか？
• RQ3 毒性／活性の予測と溶媒化自由エネルギーの予測の両方において、モデルの学習方法に明確な違いが見られるか？
• RQ4 モデルアーキテクチャに高度な化学的知識を組み込む必要なく、正確な予測が達成可能か？
• RQ5 基本的な化学的特徴の組み込みが、多様な化学的タスクにおける一般化性能を向上させるか？

主な発見

• 入力画像に3つの追加の化学的特徴を組み込むだけのAugChemceptionは、毒性、活性、溶媒化自由エネルギーの予測において、元のChemceptionモデルを上回る性能を示した。
• ネットワークアーキテクチャの変更なしに性能向上を達成したため、入力表現の重要性が浮き彫りになった。
• 2つの明確な学習パターンが浮き彫りになった：1つは毒性／活性予測に、もう1つは溶媒化自由エネルギー予測に特有のもので、それぞれ異なるメカニズムが関与している可能性を示唆した。
• モデルが示した学習パターンは、既存の化学的知識と一致しており、ネットワークが意味的で化学的に関連のある表現を学習していることが示された。
• 結果として、高精度な予測には高度な化学的知識がモデルアーキテクチャに必要ではないことが示された。入力に最小限の化学的情報を追加するだけで、性能が著しく向上した。