[논문 리뷰] Multimodal Deep Neural Networks using Both Engineered and Learned Representations for Biodegradability Prediction

Garrett B. Goh, Khushmeen Sakloth외 3명|arXiv (Cornell University)|2018. 08. 13.

Machine Learning and Data Classification참고 문헌 17인용 수 14

한 줄 요약

이 논문은 2차원 화학적 이미지에서 학습된 표현과 엔지니어링된 분자 기술자(_ballabio-40_ 및 _PaDEL-1400_)를 결합한 새로운 다중모odal CNN-MLP 신경망인 DeepBioD를 제안한다. 이 모델은 도메인 특화 기술자 엔지니어링과 깊이 학습된 표현 학습을 융합하여 현재 최고 수준의 성능보다 27% 낮은 오차율(0.125)을 달성한다. 이는 자료가 부족한 화학적 응용 분야에서 하이브리드 아키텍처가 단독 모델보다 우수하다는 것을 보여준다.

ABSTRACT

Deep learning algorithms excel at extracting patterns from raw data, and with large datasets, they have been very successful in computer vision and natural language applications. However, in other domains, large datasets on which to learn representations from may not exist. In this work, we develop a novel multimodal CNN-MLP neural network architecture that utilizes both domain-specific feature engineering as well as learned representations from raw data. We illustrate the effectiveness of such network designs in the chemical sciences, for predicting biodegradability. DeepBioD, a multimodal CNN-MLP network is more accurate than either standalone network designs, and achieves an error classification rate of 0.125 that is 27% lower than the current state-of-the-art. Thus, our work indicates that combining traditional feature engineering with representation learning can be effective, particularly in situations where labeled data is limited.

연구 동기 및 목표

• 생분해 가능성 예측과 같은 화학적 성질 예측에서 레이블이 부족한 문제를 해결하기 위해.
• 원시 화학적 이미지에서의 학습된 표현과 엔지니어링된 분자 기술자를 모두 통합하는 다중모달 딥 러닝 아키텍처를 개발하기 위해.
• 작은 레이블 데이터, 대규모 데이터 화학적 데이터셋 환경에서 단독 딥 러닝 또는 전통적 머신러닝 모델을 초월하는 예측 정확도를 향상시키기 위해.
• 모델 성능과 일반화 능력에 영향을 주는 네트워크 아키텍처, 하이퍼파라미터, 특징 선택의 영향을 평가하기 위해.
• 앙상블 학습과 신뢰도 필터링이 모델의 강건성과 커버리지 향상에 기여하는지 입증하기 위해.

제안 방법

• 모델는 0.5 Å/픽셀 해상도와 EngD 색상 코딩 방식을 사용해 생성된 80×80 픽셀 화학적 이미지에서 계층적 특징을 추출하기 위해 CNN(Chemception)을 사용한다.
• 엔지니어링된 분자 기술자—Ballabio-40(41개 기술자) 및 PaDEL-1400(~1400개 기술자)—는 별도의 MLP 스트림에서 처리된다.
• CNN의 최전단 레이어 출력과 MLP의 최종 레이어 출력을 연결하여 최종 완전 연결 레이어에 입력하여 분류를 수행한다.
• 다양한 랜덤 시드로 독립적으로 5개의 DeepBioD 모델을 훈련시켜 예측 평균을 내는 방식으로 앙상블 모델을 생성함으로써 강건성을 향상시킨다.
• DeepBioD+ 모델은 클래스 확률이 0.8 이하인 예측을 필터링하는 신뢰도 임계값을 적용하여 정확도를 향상시키지만 커버리지가 감소한다.
• 낮은 데이터 환경에서 일반화 능력을 향상시키기 위해, 더 큰 비라벨 데이터셋에서 약한 감독 및 전이 학습을 사용해 CNN을 사전 훈련한다.

실험 결과

연구 질문

• RQ1 엔지니어링된 분자 기술자와 딥 러닝을 통한 이미지 표현을 융합하면 자료가 부족한 화학적 데이터셋에서 생분해 가능성을 더 정확하게 예측할 수 있는가?
• RQ2 이미지와 기술자라는 다중모달 입력을 통합할 경우, 단일모달 접근 방식과 비교해 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 앙상블 학습과 신뢰도 필터링은 생분해 가능성 예측에서 모델 성능과 예측 커버리지에 어떤 영향을 미치는가?
• RQ4 아키텍처 선택, 하이퍼파라미터, 특징 선택은 다중모달 딥 러닝을 통한 화학 분야의 최종 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 약한 감독을 통한 CNN 구성 요소의 사전 훈련은 레이블이 제한된 상황에서 성능 향상에 기여하는가?

주요 결과

• DeepBioD는 오차 분류율 0.125를 기록하여 현재 최고 수준의 공식 모델(0.170) 대비 27% 낮은 오차율을 달성한다.
• 단일 네트워크를 사용하는 다중모달 모델 MM-S-ChemNet는 모든 개별 기존 머신러닝 모델과 공식 1위 모델을 초월하며, 오차율 0.133을 기록한다.
• 클래스 확률이 0.8 이하인 예측을 필터링하는 수정된 DeepBioD+ 모델은 오차율 0.090, 89% 예측 커버리지를 기록하여 공식 2위 모델(0.130 오차율, 87% 커버리지) 대비 31% 향상된 성능을 보였다.
• 앙상블 접근 방식은 모델의 안정성과 일반화 능력을 크게 향상시켜 여러 훈련 런에 걸친 분산을 감소시켰다.
• 더 큰 비라벨 데이터셋에서 약한 감독을 사용해 CNN을 사전 훈련하면 특징 학습 능력이 향상되고, 생분해 가능성 예측 작업에서 성능이 향상된다.
• 전문가가 설계한 분자 기술자와 딥 러닝을 통한 표현을 융합하면, 엔지니어링된 특징이나 원시 데이터 표현에만 의존하는 모델보다 뛰어난 성능을 낸다.