[논문 리뷰] Fractional Denoising for 3D Molecular Pre-training

Shikun Feng, Yuyan Ni외 3명|arXiv (Cornell University)|2023. 07. 20.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 좌표 노이즈 제거에서 낮은 샘플링 커버리지와 등방성 힘장 한계를 해결하기 위해 이황각과 좌표에 하이브리드 노이즈를 적용하고, 좌표 성분만을 노이즈 제거하는 새로운 3D 분자 사전학습 방법인 분수 노이즈 제거(Frad)를 제안한다. Frad는 향상된 구조적 커버리지와 분리된 노이즈 처리를 통해 더 정확하고 비등방성인 힘장을 학습함으로써 QM9의 12개 과제 중 9개와 MD17의 8개 과제 중 7개에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Coordinate denoising is a promising 3D molecular pre-training method, which has achieved remarkable performance in various downstream drug discovery tasks. Theoretically, the objective is equivalent to learning the force field, which is revealed helpful for downstream tasks. Nevertheless, there are two challenges for coordinate denoising to learn an effective force field, i.e. low coverage samples and isotropic force field. The underlying reason is that molecular distributions assumed by existing denoising methods fail to capture the anisotropic characteristic of molecules. To tackle these challenges, we propose a novel hybrid noise strategy, including noises on both dihedral angel and coordinate. However, denoising such hybrid noise in a traditional way is no more equivalent to learning the force field. Through theoretical deductions, we find that the problem is caused by the dependency of the input conformation for covariance. To this end, we propose to decouple the two types of noise and design a novel fractional denoising method (Frad), which only denoises the latter coordinate part. In this way, Frad enjoys both the merits of sampling more low-energy structures and the force field equivalence. Extensive experiments show the effectiveness of Frad in molecular representation, with a new state-of-the-art on 9 out of 12 tasks of QM9 and on 7 out of 8 targets of MD17.

연구 동기 및 목표

• 저에너지 분자 구형체의 탐색을 제한하는 좌표 노이즈 제거에서의 낮은 샘플링 커버리지 문제 해결.
• 기존 방법에서의 등방성 힘장 가정이 분자의 비등방성 에너지 경관을 포착하지 못하는 문제 극복.
• 힘장 등가성을 유지하면서 더 넓은 구형체 샘플링을 가능하게 하는 사전학습 방법 개발.
• 이황각과 좌표 노이즈를 분리하여 물리적 해석 가능성과 최종 성능 향상 확보.
• 입력 편향 불일치 문제를 보완하기 위해 노이즈가 있는 노드(Noisy Nodes)를 효과적으로 피지테이닝할 수 있도록 하기

제안 방법

• 회전 가능한 결합의 이황각에 정규분포 노이즈를 적용하고, 원자 좌표에 독립적인 노이즈를 적용하는 하이브리드 노이즈 전략 도입.
• 이황각 노이즈를 유지하면서 좌표 성분만을 노이즈 제거함으로써 데이터 증강 수단으로 활용.
• 두 노이즈 유형을 분리함으로써 힘장 등가성이 복원됨을 이론적으로 증명하여, 기존 노이즈 제거에서 발생하는 공분산 의존성 문제를 피함.
• 분자의 안정성을 손상시키지 않으면서 저에너지 구형체를 탐색하기 위해 이황각 노이즈를 활용.
• 피지테이닝 중 노이즈 제거와 최종 작업의 입력을 분리하여 일관된 입력 분포 유지.
• 수정된 설정을 적용한 Noisy Nodes를 사용하여 최종 예측 성능 향상과 견고성 검증

실험 결과

연구 질문

• RQ1 이황각과 좌표에 대한 하이브리드 노이즈가 사전학습 중 저에너지 분자 구형체의 샘플링을 향상시키는가?
• RQ2 좌표 성분만을 노이즈 제거함으로써 힘장 등가성이 유지되면서 비등방성 학습이 가능한가?
• RQ3 이황각과 좌표 노이즈의 분리가 Noisy Nodes를 사용한 피지테이닝 성능에 어떤 영향을 미치는가?
• RQ4 기존 좌표 노이즈 제거에 비해 분수 노이즈 제거가 분자 표현 학습을 얼마나 향상시키는가?
• RQ5 제안된 방법이 QM9와 MD17와 같은 표준 3D 분자 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• Frad는 QM9 벤치마크의 12개 과제 중 9개에서 새로운 최신 기술 수준 성능을 달성하였으며, 평가된 모든 과제에서 표준 좌표 노이즈 제거를 초월한다.
• MD17 아스피린 과제에서 Frad는 Noisy Nodes로 피지테이닝한 결과 테스트 MAE 0.2087을 기록하여 베이스라인을 초월하고 기존 Noisy Nodes에서 관찰된 수렴 문제를 해결했다.
• 절단 실험을 통해 이황각 노이즈가 저에너지 구형체 샘플링을 크게 향상시키는 것으로 확인되었으며, 좌표 노이즈 제거만으로는 동등한 커버리지를 확보하지 못함을 입증했다.
• 노이즈 제거와 최종 작업의 입력을 분리함으로써 안정적인 수렴과 성능 향상을 이룰 수 있었으며, 특히 높은 이황각 노이즈 설정에서 두드러진 효과를 보였다.
• 절단 및 최종 성능 실험을 통해 이론적으로 비등방성 힘장 학습과 동등한 성질을 가지며 물리적 해석 가능성도 확인되었다.
• Frad의 성능 향상 요인은 넓은 구형체 커버리지와 더 정확한 힘장 학습의 조합으로서, 절단 및 비교 실험을 통해 입증되었다.