[논문 리뷰] How Much Chemistry Does a Deep Neural Network Need to Know to Make Accurate Predictions?

Garrett B. Goh, Charles Siegel외 3명|arXiv (Cornell University)|2017. 10. 05.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망, 특히 Chemception의 개선된 버전인 AugChemception을 사용하여 입력 이미지에 단지 세 가지 기본 화학적 특징만 추가함으로써 구조적 변경 없이도 독성, 활성도 및 용매화 자유 에너지와 같은 화학적 성질 예측에서 뛰어난 정확도를 달성할 수 있음을 보여준다. 모델의 성능은 기존의 화학 지식과 일치하며, 고정밀도 예측을 위해서는 고도의 전문 지식이 필요하지 않음을 시사한다.

ABSTRACT

The meteoric rise of deep learning models in computer vision research, having achieved human-level accuracy in image recognition tasks is firm evidence of the impact of representation learning of deep neural networks. In the chemistry domain, recent advances have also led to the development of similar CNN models, such as Chemception, that is trained to predict chemical properties using images of molecular drawings. In this work, we investigate the effects of systematically removing and adding localized domain-specific information to the image channels of the training data. By augmenting images with only 3 additional basic information, and without introducing any architectural changes, we demonstrate that an augmented Chemception (AugChemception) outperforms the original model in the prediction of toxicity, activity, and solvation free energy. Then, by altering the information content in the images, and examining the resulting model's performance, we also identify two distinct learning patterns in predicting toxicity/activity as compared to solvation free energy. These patterns suggest that Chemception is learning about its tasks in the manner that is consistent with established knowledge. Thus, our work demonstrates that advanced chemical knowledge is not a pre-requisite for deep learning models to accurately predict complex chemical properties.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 복잡한 화학적 성질을 정확히 예측하기 위해 광범위한 화학 지식이 필요한지 여부를 조사하는 것.
• 이미지 기반 분자 표현에 도메인 특화 정보를 통합할 경우의 영향을 평가하는 것.
• 모델 성능이 기존의 화학 원리와 관련이 있는지 확인하는 것.
• 독성/활성도와 같은 성질 예측과 용매화 자유 에너지 예측 간에 서로 다른 학습 패턴이 존재하는지 파악하는 것.

제안 방법

• 원자 유형, 화학화합 상태, 형식적 전하의 세 가지 기본 화학적 특징을 분자 이미지 입력에 추가하는 것.
• 네트워크 아키텍처를 수정하지 않은 채로, 이러한 개선된 이미지로 컨볼루션 신경망(Chemception)을 훈련시키는 것.
• 지역화된 화학 정보를 체계적으로 제거하고 추가하여 성능에 미치는 영향을 평가하는 것.
• 독성, 활성도, 용매화 자유 에너지 세 가지 작업 간의 예측 정확도를 비교하는 것.
• 화학 지식과 일치하는 학습 패턴을 식별하기 위해 모델 행동을 분석하는 것.
• 모든 실험에서 동일한 모델 아키텍처를 사용하여 입력 정보의 영향을 고립시키는 것.

실험 결과

연구 질문

• RQ1 분자 이미지에 최소한의 화학 정보를 추가하면 딥 러닝 모델의 화학적 성질 예측 성능에 어떤 영향을 미치는가?
• RQ2 개선된 이미지로 훈련된 모델이 기존의 화학 원리와 일치하는 학습 패턴을 보이는가?
• RQ3 독성/활성도 예측과 용매화 자유 에너지 예측 간에 모델이 학습하는 방식에 명백한 차이가 존재하는가?
• RQ4 모델 아키텍처에 깊은 화학 지식이 포함되어 있지 않아도 정확한 예측을 달성할 수 있는가?
• RQ5 기본적인 화학적 특징의 포함이 다양한 화학 작업 간 일반화 능력을 향상시키는가?

주요 결과

• 이미지 입력에 단지 세 가지 추가 화학적 특징만 포함시킨 AugChemception은 독성, 활성도 및 용매화 자유 에너지 예측에서 원본 Chemception 모델보다 뛰어난 성능을 보였다.
• 모델의 성능 향상은 아키텍처 수정 없이도 달성되었으며, 이는 입력 표현의 중요성을 강조한다.
• 두 가지의 구분된 학습 패턴이 나타났다: 하나는 독성/활성도 예측에 대해, 다른 하나는 용매화 자유 에너지 예측에 대해, 이는 서로 다른 기초 메커니즘이 존재할 가능성을 시사한다.
• 모델에서 관찰된 학습 패턴은 기존의 화학 지식과 일치하며, 네트워크가 의미 있는 화학적으로 관련된 표현을 학습하고 있음을 나타낸다.
• 결과적으로, 고정밀도 예측을 위해서는 고도의 화학 지식이 필수적인 것이 아니며, 입력에 최소한의 화학 정보만 포함되어 있어도 성능 향상이 뚜렷하게 이루어진다.