[논문 리뷰] Semi-supervised learning of hierarchical representations of molecules using neural message passing

Hai Nguyen, Shin‐ichi Maeda외 1명|arXiv (Cornell University)|2017. 11. 28.

Computational Drug Discovery Methods참고 문헌 16인용 수 10

한 줄 요약

이 논문은 신경 메시지 전파를 사용하여 분자의 계층적 표현 학습 방법을 제안하며, 문단 벡터를 그래프 구조 데이터로 확장한다. 비지도 그래프 표현 학습에서 최고 성능을 기록하고, 라벨이 제한된 데이터로도 지도 학습보다 예측 정확도가 높게 향상됨을 보여준다.

ABSTRACT

With the rapid increase of compound databases available in medicinal and material science, there is a growing need for learning representations of molecules in a semi-supervised manner. In this paper, we propose an unsupervised hierarchical feature extraction algorithm for molecules (or more generally, graph-structured objects with fixed number of types of nodes and edges), which is applicable to both unsupervised and semi-supervised tasks. Our method extends recently proposed Paragraph Vector algorithm and incorporates neural message passing to obtain hierarchical representations of subgraphs. We applied our method to an unsupervised task and demonstrated that it outperforms existing proposed methods in several benchmark datasets. We also experimentally showed that semi-supervised tasks enhanced predictive performance compared with supervised ones with labeled molecules only.

연구 동기 및 목표

• 약물 및 재료 발견에서 라벨이 부족한 분자 데이터 문제를 해결한다.
• 분자를 그래프 구조적 객체로 간주하여 비지도 계층적 특징 추출 방법을 개발한다.
• 신경 메시지 전파를 활용해 그래프로 확장된 문단 벡터를 통해 계층적 부분 구조 표현을 구현한다.
• 비지도 학습에서의 불완전한 라벨 데이터를 활용한 준지도 학습이 라벨이 있는 분자만을 사용한 지도 학습보다 예측 성능을 향상시킴을 입증한다.
• 의료 및 재료 과학에서 흔한 저데이터 환경에서 효과적인 분자 표현 학습을 가능하게 한다.

제안 방법

• 각 분자를 '문서'로, 그의 부분 구조를 '단어'로 간주하여 문단 벡터를 분자에 적용한다.
• 이웃 특징의 반복적 집계를 통해 신경 메시지 전파를 사용하여 분자의 부분 그래프에 대한 계층적 표현을 학습한다.
• 노드 및 그래프 수준의 임베딩을 동시에 학습하기 위해 메시지 전파를 스킵그램 유사 목적함수와 통합한다.
• 학습의 확장성과 효율성을 확보하기 위해 음성 샘플링과 노이즈 대비 추정 기법을 적용한다.
• 계층적 노드 표현에서 고정된 크기의 그래프 수준 임베딩을 생성하기 위해 학습 가능한 리더아웃 레이어를 사용한다.
• 비지도 모델을 라벨이 있는 분자와 없는 분자를 함께 최적화하여 준지도 학습으로 확장한다.

실험 결과

연구 질문

• RQ1 신경 메시지 전파를 문단 벡터와 효과적으로 융합하여 계층적 분자 표현을 학습할 수 있는가?
• RQ2 제안된 비지도 방법이 표준 분자 기준 데이터셋에서 기존의 그래프 표현 학습 기반 방법들을 능가하는가?
• RQ3 풍부한 비라벨 분자 데이터를 활용한 준지도 학습이 라벨이 적은 분자만을 사용한 지도 학습보다 예측 성능을 향상시키는가?
• RQ4 저데이터 환경에서 라벨 데이터의 양이 증가함에 따라 제안된 방법의 성능이 어떻게 변화하는가?
• RQ5 기존의 피처나 커널 기반 방법보다 학습된 계층적 표현이 분자 성질 예측에 더 유용한가?

주요 결과

• MUTAG 데이터셋에서 제안된 방법은 비지도 표현 학습에서 86.46% ± 5.97의 정확도를 기록하여, 그래프2베이트(83.15% ± 9.25)를 포함한 모든 기준 방법들을 능가했다.
• PTC 데이터셋에서 방법은 62.86% ± 5.71의 정확도를 달성하여, 노드2베이트(58.85% ± 8.00)와 WL 커널(59.61% ± 2.79)을 포함한 모든 비교 방법들을 뛰어넘었다.
• 용해도 예측 작업에서 준지도 방법(SemiNFP)은 라벨이 3%일 때 평균 절대 오차(MAE) 1.85 ± 0.03에서 라벨이 6%로 증가할 경우 1.56 ± 0.07로 감소하여 일관된 향상을 보였다.
• 약물 효과 예측(EC50) 작업에서 SemiNFP는 라벨이 18%일 때 MAE 1.35 ± 0.19를 기록하여, 동일 조건에서 NFP의 1.51 ± 0.21 MAE를 뛰어넘었다.
• 결과적으로, 비라벨 데이터를 준지도 학습을 통해 통합함으로써 모델 성능이 라벨 데이터가 극히 적은 상황에서도 크게 향상됨을 입증했다.
• 저자들의 지식에 비추어 볼 때, 이는 메시지 전파 기반 그래프 표현을 사용한 분자 성질 예측에 준지도 프레임워크를 성공적으로 적용한 최초의 작업이다.