[논문 리뷰] Convolutional Networks on Graphs for Learning Molecular Fingerprints

David Duvenaud, Dougal Maclaurin외 5명|arXiv (Cornell University)|2015. 09. 30.

Computational Drug Discovery Methods참고 문헌 20인용 수 905

한 줄 요약

이 논문은 분자 구조도에 직접 작용하는 가중치 학습이 가능한, 엔드 투 엔드로 훈련 가능한 컨볼루션 신경망을 소개한다. 이는 데이터 기반의 분자 지문을 학습한다. 고정된 원형 지문 대신 학습 가능한 그래프 컨볼루션 특징을 사용함으로써, 용해도, 약물 효능, 태양전지 효율성 등의 과제에서 뛰어난 예측 성능, 향상된 해석 가능성, 그리고 감소된 모델 복잡도를 달성한다.

ABSTRACT

We introduce a convolutional neural network that operates directly on graphs. These networks allow end-to-end learning of prediction pipelines whose inputs are graphs of arbitrary size and shape. The architecture we present generalizes standard molecular feature extraction methods based on circular fingerprints. We show that these data-driven features are more interpretable, and have better predictive performance on a variety of tasks.

연구 동기 및 목표

• 고정된 크기의 수작업으로 만든 분자 지문이 특정 예측 과제에 최적화되지 못하는 한계를 해결하기 위해.
• 분자 구조도(원자를 노드로, 결합을 엣지로 간주)에 직접 작용하는 기울기 가능하고 기울기 기반으로 최적화 가능한 신경망 아키텍처를 개발하기 위해.
• 고정된 지문 방법에 의존하는 대신, 작업에 특화된 데이터 기반 지문을 학습함으로써 분자 성질 예측의 예측 성능을 향상시키기 위해.
• 기존 지문이 모든 부분 구조를 서로 다른 것으로 간주하는 데 반해, 유사한 구조적 조각에 대해 특징이 반응하도록 하여 설명 가능성을 향상시키기 위해.
• 모든 가능한 부분 구조를 인코딩하는 대신, 관련된 작업 전용 특징만 학습함으로써 계산 및 정규화 부담을 줄이기 위해.

제안 방법

• 모델은 각 층에서 원자와 그 국소적 이웃에 대해 기울기 가능하고 기울기 기반으로 최적화 가능한 필터를 적용하는 그래프 컨볼루션 네트워크(GCN) 아키텍처를 사용하며, 순열 불변성을 유지하기 위해 특징을 합산을 통해 집계한다.
• 원형 지문(ECFP 등)에서의 이산 해싱 단계를, tanh와 같은 비선형 활성화 함수를 사용하는 기울기 가능 신경층으로 대체한다.
• 글로벌 풀링 단계는 기존 지문의 인덱싱 단계에 대한 기울기 가능 대체물로 소프트맥스 연산을 사용하여 그래프에서 고정 길이의 출력 벡터를 생성한다.
• 백프로파게이션을 사용하여 엔드 투 엔드로 훈련되며, 그래프 연산을 통해 기울기가 흐르고 특징 추출 과정이 최적화된다.
• 기울기 하강을 통해 특징 추출 과정을 조정할 수 있도록 하여 표준 원형 지문을 일반화함으로써, 하류 예측 과제에 최적화된 학습이 가능하다.
• 순열 불변 집계(예: 합산)를 사용함으로써 원자 순서에 영향을 받지 않는 아키텍처를 설계하여 확장성과 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 기울기 가능하고 학습 가능한 지문 방법이 다양한 분자 성질 예측 과제에서 고정된 수작업 지문보다 뛰어난 예측 성능을 보일 수 있는가?
• RQ2 학습 가능한 그래프 특징이 유사한 구조적 조각 간 유사성을 반영함으로써 얼마나 해석 가능성을 향상시킬 수 있는가?
• RQ3 신경 지문 파이프라인의 엔드 투 엔드 훈련이 매우 큰 희소 지문 벡터를 필요로 하지 않게 하여 계산 효율성을 향상시킬 수 있는가?
• RQ4 제안된 신경 그래프 지문이 하류 모델의 입력으로 사용되었을 때, ECFP와 같은 최신 기술과 비교해 성능가능한가?
• RQ5 학습된 특징이 임의의 인덱스가 아니라 화학적으로 관련된 부분 구조를 의미하는 것으로 의미적으로 해석될 수 있는가?

주요 결과

• 제안된 신경 그래프 지문은 용해도, 약물 효능, 유기 태양전지 효율성 예측 과제에서 표준 ECFP 지문과 동등하거나 더 뛰어난 성능을 달성한다.
• 모델은 이전 연구에서 사용된 바와 같이 매우 큰 지문 벡터(예: 43,000 차원)를 필요로 하지 않게 되어, 관련된 계산 및 정규화 비용이 감소한다.
• 학습된 특징은 동일하지 않지만 유사한 분자 조각에 대해 반응하기 때문에, 화학적 유사성을 반영함으로써 더 해석 가능성이 높아진다.
• 기울기 가능하고 훈련 가능한 특징 추출 과정을 통해 원형 지문을 일반화함으로써, 전체 파이프라인의 엔드 투 엔드 최적화가 가능해진다.
• 합산 기반 집계를 사용함으로써 루트 수를 세는 방식의 트리 기반 그래프 신경망의 $ ext{O}(F^2N^2) $ 복잡도를 피함으로써 확장성과 대규모 분자에 대한 적합성을 확보한다.
• 모델는 메시지 전달 알고리즘을 펼친 것으로 볼 수 있으며, 각 층이 반복적 추론 과정의 단계와 유사하므로 기울기 기반 훈련이 가능하다.