[논문 리뷰] MolCLR: Molecular Contrastive Learning of Representations via Graph Neural Networks

Yuyang Wang, Jianren Wang외 2명|arXiv (Cornell University)|2021. 01. 01.

Computational Drug Discovery Methods참고 문헌 89인용 수 26

한 줄 요약

MolCLR는 구조적 및 기능 수준의 변환을 통해 분자 그래프를 증강함으로써 그래프 신경망 기반의 대비 학습 프레임워크를 제안하여 강력한 분자 표현을 학습한다. 이 방법은 자기지도 대비 사전 훈련을 통해 불변하고 일반화 가능한 표현을 학습하여 여러 분자 성질 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Implementation of the paper "Molecular Contrastive Learning of Representations via Graph Neural Networks".

연구 동기 및 목표

• 라벨이 없는 데이터가 필요 없이 일반화 능력이 향상되는 자기지도 분자 표현 학습 프레임워크를 개발하는 것.
• 신약 개발 및 재료 과학 분야에서 대규모 라벨이 부여된 분자 데이터셋의 부족 문제를 해결하는 것.
• 그래프 신경망과 데이터 증강을 활용하여 견고하고 불변하는 분자 표현을 학습하는 것.
• 라벨이 없는 데이터를 사용한 대비 사전 훈련을 통해 최종적인 분자 성질 예측 성능을 향상시키는 것.

제안 방법

• 이 방법은 분자 그래프를 잠재 표현으로 인코딩하기 위해 그래프 신경망 기반 백본을 사용한다.
• 두 가지 유형의 데이터 증강을 적용한다: 노드 마스킹(무작위로 원자 기능을 마스킹함)과 엣지 펌핑(무작위로 결합을 추가하거나 제거함).
• 동일한 분자의 서로 다른 증강된 버전 간의 표현 간 일치를 극대화함으로써 대비 손실 함수를 사용해 대비 학습을 수행한다.
• 대비 학습 과정의 안정성을 높이기 위해 MoCo 스타일의 운동량 큐를 사용하여 대규모 라벨이 없는 분자 코퍼스에서 모델을 사전 훈련한다.
• 최종 표현은 표준 지도 학습을 사용하여 최종 회귀 및 분류 작업에 대해 미세 조정된다.
• 프레임워크는 동일한 분자의 증강된 시각(양의 쌍)이 잠재 공간에서 음의 쌍보다 더 가까워지도록 유도하는 대비 목표를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 그래프 증강을 통한 대비 학습이 라벨이 없는 데이터 없이도 분자 표현 품질을 향상시킬 수 있는가?
• RQ2 MolCLR는 분자 성질 예측 작업에서 지도 학습 및 자기지도 학습 기반 모델과 비교해 어떻게 성능을 냈는가?
• RQ3 분자 그래프 표현 학습에 있어 가장 효과적인 데이터 증강 유형은 무엇인가?
• RQ4 학습된 표현이 다양한 분자 데이터셋과 작업 간에 얼마나 일반화되는가?

주요 결과

• MolCLR는 OGB-MolHIV, OGB-MolPCBA, OGB-MolMUV를 포함한 12개의 분자 성질 예측 벤치마크 중 11개에서 최신 기술 수준의 성능을 달성했다.
• 대규모 라벨이 없는 데이터에서 사전 훈련한 결과, 지도 학습 기반 모델보다 뛰어난 성능을 보이며 자기지도 학습의 효과성을 입증했다.
• 노드 마스킹과 엣지 펌핑 증강이 함께 작용하여 학습된 표현의 견고성과 일반화 능력을 향상시켰다.
• 절단 실험 결과, 두 증강 유형 모두 필수적이며, 조합 시 가장 높은 성능 향상이 이루어짐을 확인했다.
• 라벨이 제한된 데이터로도 사전 훈련된 MolCLR 모델을 미세 조정함으로써 뛰어난 성능을 달성하여 데이터 효율성을 입증했다.