[논문 리뷰] Do Deep Learning Methods Really Perform Better in Molecular Conformation Generation?

Gengmo Zhou, Zhifeng Gao외 3명|arXiv (Cornell University)|2023. 02. 14.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 RDKit의 ETKDG 구형체 생성 기법과 다수의 샘플러(균일, 기하학적, 에너지 기반)를 조합하고 비지도 군집화를 적용하여 고품질의 분자 구형체를 생성하는 단순하고 파rameter-free 알고리즘을 제안한다. 놀랍게도, 이는 GEOM-QM9 및 GEOM-Drugs와 같은 표준 벤치마크에서 최신 딥러닝 모델들을 능가하며, 분자 구형체 생성 분야에서 딥러닝의 본질적 우월성에 의문을 제기한다.

ABSTRACT

Molecular conformation generation (MCG) is a fundamental and important problem in drug discovery. Many traditional methods have been developed to solve the MCG problem, such as systematic searching, model-building, random searching, distance geometry, molecular dynamics, Monte Carlo methods, etc. However, they have some limitations depending on the molecular structures. Recently, there are plenty of deep learning based MCG methods, which claim they largely outperform the traditional methods. However, to our surprise, we design a simple and cheap algorithm (parameter-free) based on the traditional methods and find it is comparable to or even outperforms deep learning based MCG methods in the widely used GEOM-QM9 and GEOM-Drugs benchmarks. In particular, our design algorithm is simply the clustering of the RDKIT-generated conformations. We hope our findings can help the community to revise the deep learning methods for MCG. The code of the proposed algorithm could be found at https://gist.github.com/ZhouGengmo/5b565f51adafcd911c0bc115b2ef027c.

연구 동기 및 목표

• 딥러닝 기반 방법이 분자 구형체 생성에서 전통적 기법보다 진정으로 뛰어나다는지 평가하는 것.
• GEOM-QM9 및 GEOM-Drugs와 같은 현재의 벤치마크에 내재된 한계와 잠재적 편향을 조사하는 것.
• 기존의 화학정보학 기법만을 사용하여 단순하고 효율적이며 효과적인 딥러닝 모델의 대안을 제안하는 것.
• 단일 구형체 메트릭이 아닌 응용 분야 성능 기반으로 분자 구형체 생성을 평가해야 한다는 주장을 펼치는 것.
• 특히 이러한 모델들이 실제 응용에 도입되지 않은 상황에서 딥러닝이 구형체 생성에 본질적으로 열세가 아니라는 가정을 도전하는 것.

제안 방법

• 다양한 샘플링 전략(균일, 기하학적, 에너지 기반)을 적용한 RDKit의 ETKDG 알고리즘을 사용해 초기 구형체를 생성한다.
• 표준 ETKDG만으로는 부족한 다각도의 구형체를 확보하기 위해 세 가지 다른 샘플러를 적용한다.
• 비지도 군집화 알고리즘(예: k-means 또는 유사 알고리즘)을 사용해 큰 구형체 풀에서 대표성 있고 낮은 에너지의 구형체를 선별한다.
• GEOM-QM9 및 GEOM-Drugs 벤치마크에서 성능을 평가하기 위해 표준 메트릭(Coverage, COV 및 Matching, MAT)을 사용한다.
• 샘플된 구형체 수를 변화시키거나 개별 샘플러를 제거하여 다양성과 정확성에 미치는 영향을 평가하기 위해 아블레이션 스터디를 수행한다.
• 최종적으로 군집화를 통한 RDKit 파이프라인의 성능을 GraphDG, ConfVAE, ConfGF, GeoMol, DGSM, GeoDiff, DMCG 등 다수의 최신 딥러닝 모델과 비교한다.

실험 결과

연구 질문

• RQ1 기존의 구형체 생성 기법에 기반한 단순하고 파rameter-free 알고리즘이 최신 딥러닝 모델보다 분자 구형체 생성에서 뛰어나게 될 수 있는가?
• RQ2 GEOM-QM9 및 GEOM-Drugs와 같은 현재의 벤치마크가 기존 방법으로 쉽게 뛰어넘어질 수 있다면, 얼마나 편향되거나 조작 가능할 수 있는가?
• RQ3 다양한 샘플링 전략(균일, 기하학적, 에너지)은 생성된 구형체의 다양성과 정확성에 어떻게 기여하는가?
• RQ4 현재의 분자 구형체 생성 평가 체계는 분자 도킹이나 양자성질 예측과 같은 실제 응용에 충분한가?
• RQ5 향후의 벤치마크 평가가 단일 구형체 메트릭이 아닌 응용 성능 기반으로 이루어져야 하는가?

주요 결과

• 제안된 RDKit + 군집화 방법은 GEOM-QM9에서 COV 97.65%와 MAT 0.1902 Å를 기록하여 표본 1의 모든 딥러닝 모델을 능가했다.
• GEOM-Drugs 벤치마크에서는 COV 87.93%와 MAT 0.8086 Å를 기록하여 GeoDiff 및 DMCG를 포함한 모든 딥러닝 모델을 뛰어넘었다.
• 아블레이션 스터디 결과, 에너지 샘플러를 제거하면 성능 저하가 발생했고, 균일 샘플러를 제거했을 땐 영향이 더 적었으며, 이는 다양성과 정확성 간의 상충 관계를 시사한다.
• 기하학적 샘플러는 다양성과 정확성 양면에서 긍정적인 기여를 하였으며, 이는 커버리지와 매칭을 균형 있게 조절하는 데 중요한 역할을 함을 시사한다.
• 기준 구형체 수의 10배($10N_{ref}$)로 샘플링한 경우 GEOM-QM9에서 COV 96.49%와 MAT 0.1941 Å를 달성하여, 더 많은 샘플링이 성능 향상에 기여함을 보여주었다.
• 연구는 현재의 벤치마크가 조작에 취약하고 실제 응용 수요, 특히 생활성 구형체 생성이나 양자성질 예측과 같은 응용 중심 과제에 충분히 반영되지 못하고 있음을 결론 내린다.