[논문 리뷰] Attention-Based Learning on Molecular Ensembles

Kangway V. Chuang, Michael J. Keiser|arXiv (Cornell University)|2020. 11. 25.

Machine Learning in Materials Science참고 문헌 24인용 수 5

한 줄 요약

이 논문은 리간드 기반 가상 스크리닝을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안하며, 분자의 구형체를 인코딩하는 데 그래프 신경망(GNNs)을 사용하고, 어텐션 메커니즘을 통해 구형체 앙상블을 세트 수준의 표현으로 집계한다. 이는 핵심 생활성 구형체를 식별하는 데 80.7%의 상위 1위 정확도를 달성하며, 저에너지 자세 기반 베이스라인(3.8% 정확도)을 크게 능가한다. 이는 해석 가능한 기하학적 인지 능력이 있는 분자 표현 학습에 어텐션 기반 풀링이 강력한 방법임을 보여준다.

ABSTRACT

The three-dimensional shape and conformation of small-molecule ligands are critical for biomolecular recognition, yet encoding 3D geometry has not improved ligand-based virtual screening approaches. We describe an end-to-end deep learning approach that operates directly on small-molecule conformational ensembles and identifies key conformational poses of small-molecules. Our networks leverage two levels of representation learning: 1) individual conformers are first encoded as spatial graphs using a graph neural network, and 2) sampled conformational ensembles are represented as sets using an attention mechanism to aggregate over individual instances. We demonstrate the feasibility of this approach on a simple task based on bidentate coordination of biaryl ligands, and show how attention-based pooling can elucidate key conformational poses in tasks based on molecular geometry. This work illustrates how set-based learning approaches may be further developed for small molecule-based virtual screening.

연구 동기 및 목표

• 3차원 기하학적 정보가 중요하지만 자주 忽시되는 리간드 기반 가상 스크리닝에서 분자의 구형체 앙상블을 표현하는 데 도전하는 것.
• 단일 구형체가 아닌 분자의 구형체 앙상블에서 학습하는, 미분 가능한 엔드 투 엔드 딥 러닝 모델을 개발하는 것.
• 어텐션 메커니즘을 사용해 구형체 앙상블 내에서 핵심 생활성 구형체를 해석 가능한 방식으로 식별하는 것.
• 어텐션 기반 풀링이 기능적으로 관련된 자세를 식별하는 데 있어 전통적인 저에너지 구형체 선택 방식을 능가할 수 있음을 보여주는 것.
• 복잡한 소분자 성질 및 활성 예측 작업에 세트 기반 딥 러닝을 적용하기 위한 기반을 마련하는 것.

제안 방법

• 각 분자의 구형체는 3차원 좌표와 원자 유형에서 기하학적 및 화학적 특징을 학습하는 그래프 신경망(GNN)을 사용해 공간 그래프로 인코딩된다.
• 구형체 앙상블은 GNN로 임베딩된 인스턴스의 집합으로 간주되며, 어텐션 메커니즘이 이를 단일 세트 수준의 표현으로 집계한다.
• 어텐션 메커니즘은 구형체들에 대해 학습 가능한 가중치를 계산하여, 작업에 가장 관련성이 높은 인스턴스에 초점을 맞춘다.
• 전체 아키텍처는 엔드 투 엔드로 미분 가능하여, 분류나 회귀를 위한 특징 추출과 세트 집계를 함께 최적화할 수 있다.
• 모델은 다중 인스턴스 학습(MIL) 설정에서 훈련되며, 개별 구형체 레이블이 아닌 세트 수준의 레이블(예: 활성/비활성)만 제공된다.
• 어텐션 계수는 예측뿐만 아니라 해석 가능성에도 사용되며, 모델의 결정을 이끄는 구형체를 드러낸다.

실험 결과

연구 질문

• RQ1 지표 레이블이 없는 개별 구형체를 요구하지 않고도 엔드 투 엔드 딥 러닝 모델이 분자의 구형체 앙상블에서 효과적으로 학습할 수 있는가?
• RQ2 어텐션 기반 풀링이 핵심 생활성 자세를 식별하는 데 있어 저에너지 구형체 선택과 같은 전통적 방법을 능가할 수 있는가?
• RQ3 세트 기반 모델의 어텐션 메커니즘이 다양한 앙상블 내에서 올바른 기능적으로 관련된 구형체를 어느 정도 정확하게 식별할 수 있는가?
• RQ4 GNN을 통한 3차원 기하학적 정보와 어텐션의 통합이 2차원 프린트포인트에 비해 리간드 기반 가상 스크리닝에서 예측 성능을 향상시키는가?
• RQ5 어떤 어텐션 메커니즘이 생활성 자세와 구조적으로 유사한 구형체를 강조함으로써 의미 있는 해석 가능성을 제공할 수 있는가?

주요 결과

• GNN + 어텐션 모델은 100개의 훈련 예제로 구성된 BIPY-MIL 데이터셋에서 88.6%의 정확도를 달성하였으며, ECFP4 프린트포인트를 사용한 랜덤 포레스트 베이스라인과 유사한 성능을 보였다.
• 500개의 훈련 예제로 92.8%의 정확도를 달성하여, 낮은 데이터 환경에서도 뛰어난 성능을 보였다.
• 핵심 생활성 구형체를 식별하는 데 어텐션 메커니즘이 80.7%의 상위 1위 정확도를 기록하였으며, 저에너지 구형체는 단지 3.8%의 정확도에 머물렀다.
• 어떤 경우에도 어텐션 메커니즘은 생활성 s-cis 구형체와 유사한 회전 각도를 가진 구형체를 정확히 강조하였으며, 정확한 핵심 구형체가 저에너지가 아니더라도 마찬가지였다.
• 진짜 부정 예측 케이스에서도 어텐션 메커니즘은 기하학적으로 가장 유사한 구형체에 높은 가중치를 할당하여, 비생활성 세트에 대해서도 강건함을 보였다.
• 어텐션 계수는 80.7%의 양성 케이스에서 숨겨진 참값과 일치하는 방식으로 가장 관련성이 높은 구형체를 식별하는 해석 가능한 통찰을 제공하였다.