[논문 리뷰] Graph Neural Network Architecture Search for Molecular Property Prediction

Shengli Jiang, Prasanna Balaprakash|arXiv (Cornell University)|2020. 08. 27.

Computational Drug Discovery Methods참고 문헌 35인용 수 5

한 줄 요약

이 논문은 분자의 성질 예측을 위한 최적의 메시지 전파 신경망(MPNN) 아키텍처를 자동으로 발견하기 위해 정규화된 진화(regularized evolution)를 사용하는 신경망 아키텍처 탐색(NAS) 프레임워크를 제안한다. 엣지 특징, 스킵 연결 및 포괄적인 탐색 공간을 통합함으로써, 수동으로 설계된 모델보다 MoleculeNet 벤치마크 데이터셋에서 뛰어난 성능을 보이는 고성능 MPNN 아키텍처를 발견한다. 이는 분자의 기계학습에서 아키텍처 맞춤화의 핵심 역할을 증명한다.

ABSTRACT

Predicting the properties of a molecule from its structure is a challenging task. Recently, deep learning methods have improved the state of the art for this task because of their ability to learn useful features from the given data. By treating molecule structure as graphs, where atoms and bonds are modeled as nodes and edges, graph neural networks (GNNs) have been widely used to predict molecular properties. However, the design and development of GNNs for a given data set rely on labor-intensive design and tuning of the network architectures. Neural architecture search (NAS) is a promising approach to discover high-performing neural network architectures automatically. To that end, we develop an NAS approach to automate the design and development of GNNs for molecular property prediction. Specifically, we focus on automated development of message-passing neural networks (MPNNs) to predict the molecular properties of small molecules in quantum mechanics and physical chemistry data sets from the MoleculeNet benchmark. We demonstrate the superiority of the automatically discovered MPNNs by comparing them with manually designed GNNs from the MoleculeNet benchmark. We study the relative importance of the choices in the MPNN search space, demonstrating that customizing the architecture is critical to enhancing performance in molecular property prediction and that the proposed approach can perform customization automatically with minimal manual effort.

연구 동기 및 목표

• 수동 조정을 줄이고 성능을 향상시키기 위해 분자의 성질 예측을 위한 메시지 전파 신경망(MPNNs)의 설계를 자동화한다.
• 분자 데이터셋의 낮은 데이터 효율성과 비유클리드적 구조에 도전하기 위해 데이터 특화된 자동 아키텍처 탐색 방법을 개발한다.
• 엔드포인트 특징, 스킵 연결, 그리고 구성 가능한 MPNN 구성 요소(예: 어텐션, 집계, 활성화)를 포함하는 새로운 탐색 공간을 구축하여 더 나은 일반화를 이룬다.
• 신경망 아키텍처 탐색(NAS)이 MoleculeNet 데이터셋에서 수동으로 설계된 기준 모델을 능가하는 작업별 MPNN 아키텍처를 발견하는 데의 효과성을 평가한다.
• 감도 분 析를 통해 MPNN 아키텍처 선택의 상대적 중요도를 조사하여 향후 모델 개발을 안내한다.

제안 방법

• 상태 차원, 어텐션 메커니즘, 어텐션 헤드, 집계 함수, 활성화 함수, 업데이트 함수, 수집 연산, 스킵 연결을 포함하는 포괄적인 MPNN 탐색 공간을 정의한다.
• DeepHyper AutoML 프레임워크 내에서 정규화된 진화(RE) 탐색 전략을 구현하여 탐색 공간을 효율적이고 비동기적으로 탐색한다.
• NAS 동안 후보 아키텍처를 평가하기 위해 검증 손실 기반의 보상 신호를 사용하며, 모델을 더 많은 에포크 동안 재학습하여 성능 비교의 신뢰성을 확보한다.
• 학습 가능한 신경망을 통해 엣지 특징을 메시지 전파에 통합하여, 화학 결합 특성을 더 잘 포착할 수 있는 능력을 향상시킨다.
• 비모수적 감도 분석을 위해 랜덤 포레스트 기반 방법을 적용하여 각 아키텍처 하이퍼파rameter의 중요도를 다양한 데이터셋에서 정량화한다.
• 15개, 30개, 60개의 컴퓨팅 노드를 사용하여 RE와 무작위 탐색(RS)을 수렴 속도, 고성능 아키텍처 발견 수, 확장성 측면에서 비교한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색(NAS)이 수동으로 설계된 모델을 능가하는 고성능 MPNN 아키텍처를 분자의 성질 예측을 위해 자동으로 발견할 수 있는가?
• RQ2 탐색 공간에 엣지 특징과 스킵 연결을 포함할 경우, 분자 데이터셋에서 MPNN의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 분자 성질 예측 작업에서 MPNN 아키텍처 구성 요소(예: 어텐션, 집계, 활성화)의 상대적 중요도는 어떻게 다른가?
• RQ4 정규화된 진화(RE) 탐색 전략이 고품질 MPNN 아키텍처를 발견하는 데 있어 효율성과 성능 측면에서 무작위 탐색(RS)을 능가하는가?
• RQ5 최적의 MPNN 아키텍처가 다양한 분자 데이터셋 간에 얼마나 다를 수 있는가? 이는 데이터 특화된 맞춤 설계의 필요성을 시사하는가?

주요 결과

• 정규화된 진화(RE)를 사용해 자동으로 발견된 MPNN 아키텍처는 모든 데이터셋에서 검증 손실과 테스트 손실 측면에서 MoleculeNet 벤치마크의 모든 수동으로 설계된 MPNN보다 뛰어난 성능을 보였다.
• 정규화된 진화(RE)는 무작위 탐색(RS)보다 더 많은 고성능 아키텍처를 발견했으며, 더 짧은 월클락 타임 내에 더 높은 성능을 달성하여 더 뛰어난 탐색 효율성을 입증했다.
• 엣지 특징, 어텐션 메커니즘, 스킵 연결을 포함하는 탐색 공간은 이러한 구성 요소가 없는 표준 MPNN보다 모델 성능을 크게 향상시켰다.
• 감도 분석 결과, 어텐션 메커니즘, 집계 함수, 활성화 함수와 같은 아키텍처 선택은 데이터셋에 따라 다양한 중요도를 보였으며, 이는 데이터 특화 아키텍처 설계의 필요성을 강조한다.
• RE 기반 NAS는 15개, 30개, 60개의 컴퓨팅 노드에서 효과적으로 확장되었으며, 탐색 품질에 손상 없이 일관된 성능 향상을 유지했다.
• 결과적으로 아키텍처 맞춤화가 분자 성질 예측에 있어 핵심이며, NAS가 최소한의 수동 노력으로 이 과정을 자동화할 수 있음을 입증했다.