[논문 리뷰] Molformer: Motif-based Transformer on 3D Heterogeneous Molecular Graphs

Fang Wu, Dragomir Radev외 1명|arXiv (Cornell University)|2021. 10. 04.

Machine Learning in Materials Science인용 수 7

한 줄 요약

Molformer는 기능기능군과 강화학습을 활용하여 원자 수준과 모티프 수준의 노드를 통합하는 새로운 3D 이질적 분자 그래프(HMG) 프레임워크를 제안한다. 이는 다중 척도 모델링과 민감한 가장 먼 점 샘플링을 갖춘 이질적 자기주도 어텐션 트랜스포머를 사용하여 양자 화학, 생리학, 생물물리학 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Procuring expressive molecular representations underpins AI-driven molecule design and scientific discovery. The research mainly focuses on atom-level homogeneous molecular graphs, ignoring the rich information in subgraphs or motifs. However, it has been widely accepted that substructures play a dominant role in identifying and determining molecular properties. To address such issues, we formulate heterogeneous molecular graphs (HMGs), and introduce a novel architecture to exploit both molecular motifs and 3D geometry. Precisely, we extract functional groups as motifs for small molecules and employ reinforcement learning to adaptively select quaternary amino acids as motif candidates for proteins. Then HMGs are constructed with both atom-level and motif-level nodes. To better accommodate those HMGs, we introduce a variant of Transformer named Molformer, which adopts a heterogeneous self-attention layer to distinguish the interactions between multi-level nodes. Besides, it is also coupled with a multi-scale mechanism to capture fine-grained local patterns with increasing contextual scales. An attentive farthest point sampling algorithm is also proposed to obtain the molecular representations. We validate Molformer across a broad range of domains, including quantum chemistry, physiology, and biophysics. Extensive experiments show that Molformer outperforms or achieves the comparable performance of several state-of-the-art baselines. Our work provides a promising way to utilize informative motifs from the perspective of multi-level graph construction.

연구 동기 및 목표

• 기존 GNN이 원자 수준의 그래프에만 집중하고 정보가 풍부한 분자 서브구조(모티프)를 忽시하는 한계를 해결하기 위해.
• 원자 수준과 모티프 수준의 노드를 하나의 3D 이질적 분자 그래프(HMG)에 통합하는 통합 프레임워크를 개발하기 위해.
• 다양한 그래프 수준 간의 상호작용을 모델링하면서도 3D 기하학적 정보를 유지할 수 있는 트랜스포머 기반 아키텍처를 설계하기 위해.
• 단백질의 경우 강화학습을 통해 작업에 특화된 모티프를 발견하고, 소분자의 경우 화학적으로 정의된 기능기능군을 활용하여 분자 표현 학습을 향상시키기 위해.
• 제안된 HMG와 Molformer의 효과성을 다양한 분자 성질 예측 작업에서 검증하기 위해.

제안 방법

• 기능기능군(소분자) 또는 강화학습으로 발견된 4차 아미노산 서열(단백질)에서 유도된 원자 수준 노드와 모티프 수준 노드를 포함하여 이질적 분자 그래프(HMGs)를 구축한다.
• 트랜스포머 인코더에서 서로 다른 노드 유형(원자 대 모티프) 간의 어텐션을 구분하고 계산하는 이질적 자기주도 어텐션(HSA) 메커니즘을 도입한다.
• 점차 증가하는 수신 영역 크기를 갖는 다중 척도 메커니즘을 구현하여 세밀한 구조적 세부 정보를 모델링한다.
• 노드 특징을 글로벌 분자 표현으로 압축하고 정제하기 위해 민감한 가장 먼 점 샘플링(AFPS) 알고리즘을 제안한다.
• 강화학습을 사용하여 단백질 서열에서 작업에 관련된 모티프 후보를 탐색하고, 최종 예측 성능을 최적화한다.
• Molformer 아키텍처에 입력하기 전에 원자 특징을 학습 가능한 벡터로 매핑하기 위해 다층퍼셉트론(MLP)을 적용한다.

실험 결과

연구 질문

• RQ1 3D 이질적 그래프에 분자 모티프를 명시적인 노드로 통합할 경우, 동일한 원자 수준 그래프에 비해 분자 표현 학습에 개선이 이루어지는가?
• RQ2 강화학습 기반의 모티프 탐색 전략은 단백질 서열에서 생물학적으로 관련성이 있는 서브구조를 식별하는 데 얼마나 효과적인가?
• RQ3 원자 노드와 모티프 노드를 구분하는 이질적 자기주도 어텐션 메커니즘은 분자 성질 예측 성능 향상에 기여하는가?
• RQ4 다중 척도 모델링은 분자 그래프 내 국소적 및 장거리 구조적 의존성의 포착에 얼마나 기여하는가?
• RQ5 제안된 민감한 가장 먼 점 샘플링(AFPS) 알고리즘은 글로벌 분자 표현 학습에서 표준 풀링 또는 어텐션 기반 집계 방식과 비교해 어떤가?

주요 결과

• Molformer는 QM7, BBBP 및 기타 생물물리학 데이터셋을 포함한 다양한 분자 성질 예측 벤치마크에서 최신 기술 수준의 기준 모델을 초월하거나 유사한 성능을 달성한다.
• 절단 실험 결과, 수소화물, 할로알케인, 산소 함유, 질소 함유의 4개 기능기능군 카테고리 모두가 일관되게 성능 향상을 이끌어내며, 특히 수소화물 카테고리가 가장 크게 기여한다.
• 강화학습 기반의 모티프 탐색 방법은 결합 틈새에서 1.38%의 발생률로 모티프를 발견했으며, 이는 다른 영역 대비 거의 두 배에 가까운 비율로 생물학적 관련성을 시사한다.
• 이질적 자기주도 어텐션 메커니즘은 원자와 모티프 간의 교차 수준 상호작용을 효과적으로 모델링하여 표현 품질을 향상시킨다.
• AFPS 알고리즘은 노드 특징을 효과적으로 집계하고 강력한 글로벌 분자 표현을 생성하여 모델의 뛰어난 일반화 능력에 기여한다.
• 명시적인 모티프 노드를 포함한 HMG 구성은 다중 수준 특징의 단순 융합 대비 뚜렷한 성능 향상을 이끌어내어 설계 선택의 타당성을 입증한다.