[논문 리뷰] Ligandformer: A Graph Neural Network for Predicting Compound Property with Robust Interpretation

Jinjiang Guo, Qi Liu외 2명|arXiv (Cornell University)|2022. 02. 21.

Computational Drug Discovery Methods인용 수 7

한 줄 요약

Ligandformer는 구조적으로 관련된 분자 조각을 강조하는 강력하고 해석 가능한 주의 맵을 제공하는 다층 자기주의 그래프 신경망이며, 블록 간 주의 계수를 통합하여 학습 라운드 간 예측 안정성을 확보한다. SAMPN과 MPNN보다 정확도가 뛰어나며, AUROC 최대 0.98의 성능을 기록한다.

ABSTRACT

Robust and efficient interpretation of QSAR methods is quite useful to validate AI prediction rationales with subjective opinion (chemist or biologist expertise), understand sophisticated chemical or biological process mechanisms, and provide heuristic ideas for structure optimization in pharmaceutical industry. For this purpose, we construct a multi-layer self-attention based Graph Neural Network framework, namely Ligandformer, for predicting compound property with interpretation. Ligandformer integrates attention maps on compound structure from different network blocks. The integrated attention map reflects the machine's local interest on compound structure, and indicates the relationship between predicted compound property and its structure. This work mainly contributes to three aspects: 1. Ligandformer directly opens the black-box of deep learning methods, providing local prediction rationales on chemical structures. 2. Ligandformer gives robust prediction in different experimental rounds, overcoming the ubiquitous prediction instability of deep learning methods. 3. Ligandformer can be generalized to predict different chemical or biological properties with high performance. Furthermore, Ligandformer can simultaneously output specific property score and visible attention map on structure, which can support researchers to investigate chemical or biological property and optimize structure efficiently. Our framework outperforms over counterparts in terms of accuracy, robustness and generalization, and can be applied in complex system study.

연구 동기 및 목표

• QSAR에서 딥러닝 모델의 흑박상자 성질을 해결하기 위해 분자 구조에서 국소적인 예측 근거를 해석 가능한 방식으로 제공한다.
• 딥러닝 모델에서 흔히 발생하는 불안정성을 해결하고, 학습 라운드 간 예측 안정성을 향상시킨다.
• 다양한 화학적 및 생물학적 성질을 고성능으로 예측할 수 있는 일반화 가능한 프레임워크를 개발한다.
• 다중 네트워크 블록 간 주의 메커니즘을 통합하여 분자 구조의 하위구조에 대한 기계의 관심을 반영하는 안정적이고 해석 가능한 주의 맵을 생성한다.

제안 방법

• Ligandformer는 7개의 원자 속성을 초기 노드 특징으로 사용하는 이방향 2차원 분자 그래프 표현을 사용한다.
• 쿼리, 키, 밸류 변환 기반의 다층 자기주의 메커니즘을 적용하여 원자 간 주의 점수를 학습한다.
• 각 블록의 주의 맵은 내적 주의의 소프트맥스를 통해 계산되며, $ Y_h = \text{softmax}(Q_h K_h^T) V_h $ 로 표현된다.
• 모든 블록의 주의 계수를 평균하여 통합 주의 맵을 생성함으로써 안정성과 해석 가능성을 향상시킨다.
• 모델은 Adam 옵timizer를 사용하며, 학습률 0.001과 가중치 감쇠 0.0001을 적용하고, AUROC 향상이 50 에포크 동안 없을 경우 조기 정지한다.
• SMILES 문자열은 RDKit을 사용해 분자 그래프로 변환되며, 일관된 입력 표현을 확보하기 위해 DeepChem/Chemprop 파이프라인을 통해 처리된다.

실험 결과

연구 질문

• RQ1 GNN 기반 모델이 특정 분자 구조 조각이 성질 예측에 영향을 미치는 것을 강조하는 안정적이고 해석 가능한 주의 맵을 제공할 수 있는가?
• RQ2 다중 네트워크 블록 간 주의 계수 통합이 단일 모델 또는 비통합 주의 접근 방식에 비해 예측 안정성을 어떻게 향상시키는가?
• RQ3 Ligandformer가 높은 정확도와 해석 가능성으로 다양한 화학적 및 생물학적 성질에 대해 얼마나 일반화 가능한가?
• RQ4 Ligandformer가 생성한 주의 맵이 전문가의 화학적 직관과 일치하는가? 이를 통해 신약 개발의 구조 기반 최적화가 가능한가?

주요 결과

• Ligandformer는 수용성에 대해 AUROC 0.98을 기록하여 MPNN(0.93)과 SAMPN(0.92)를 초월했다.
• Caco-2 세포 침투성에 대해 Ligandformer는 AUROC 0.89를 유지하여 SAMPN과 동일했고, MPNN(0.89)를 뛰어넘었다.
• Ames 돌연변이성에 대해 Ligandformer는 AUROC 0.92를 기록하여 MPNN(0.90)과 SAMPN(0.91)을 모두 능가했다.
• 다른 무작위 초기화 조건에도 불구하고, Ligandformer의 통합 주의 맵은 두 번의 학습 라운드 동안 일관되게 유지되어 안정성을 입증했다.
• 주의 맵의 시각화 결과, 깊은 블록은 더 큰 분자 조각을 강조하는 반면 얕은 블록은 개별 원자나 국소 기능기 그룹에 집중하는 것으로 나타났다.
• 다양한 스케일의 주의 계수 통합은 비통합 주의 메커니즘에 비해 모델의 안정성과 해석 가능성을 크게 향상시켰다.