[논문 리뷰] Evaluating Self-Supervised Learning for Molecular Graph Embeddings

Hanchen Wang, Jean Kaddour외 4명|arXiv (Cornell University)|2022. 06. 16.

Computational Drug Discovery Methods인용 수 7

한 줄 요약

이 논문은 그래프 구조, 분자의 부분 구조, 임베딩 공간 성질 등 다양한 탐사 작업을 통해 자기지도 학습 분자의 그래프 임베딩을 평가하기 위한 종합적인 벤치마크인 MolGraphEval을 소개한다. 표준적인 후행 평가와 깊은 탐사 사이의 일관성 없는 결과를 드러내며, 대조 기반 방법이 성질 예측에는 뛰어나지만 반드시 부분 구조나 구조적 작업에서 뛰어나지 못함을 보이고, 특성의 균일성이 항상 성능을 예측하지 못함을 시사한다.

ABSTRACT

Graph Self-Supervised Learning (GSSL) provides a robust pathway for acquiring embeddings without expert labelling, a capability that carries profound implications for molecular graphs due to the staggering number of potential molecules and the high cost of obtaining labels. However, GSSL methods are designed not for optimisation within a specific domain but rather for transferability across a variety of downstream tasks. This broad applicability complicates their evaluation. Addressing this challenge, we present "Molecular Graph Representation Evaluation" (MOLGRAPHEVAL), generating detailed profiles of molecular graph embeddings with interpretable and diversified attributes. MOLGRAPHEVAL offers a suite of probing tasks grouped into three categories: (i) generic graph, (ii) molecular substructure, and (iii) embedding space properties. By leveraging MOLGRAPHEVAL to benchmark existing GSSL methods against both current downstream datasets and our suite of tasks, we uncover significant inconsistencies between inferences drawn solely from existing datasets and those derived from more nuanced probing. These findings suggest that current evaluation methodologies fail to capture the entirety of the landscape.

연구 동기 및 목표

• 자기지도 학습 분자의 그래프 학습(GSSL) 방법에 대한 표준화되고 해석 가능한 평가의 부족을 해결하기 위해.
• 현재의 평가 관행이 분자의 성질 예측(MPP) 작업에만 의존함으로써 발생하는 한계를 규명하기 위해.
• MPP 성능을 넘어서 학습된 임베딩의 다양한 특성을 포괄하는 종합적인 탐사 프레임워크를 개발하기 위해.
• 1,875개의 사전 훈련된 GNN과 90,918개의 탐사 모델을 포함하는 통합된 벤치마크를 통해 GSSL 방법의 편향 없는 다면적 평가를 가능하게 하기 위해.
• 표준적인 MPP 기반 평가와 깊은 탐사 사이의 괴리를 드러내며, GSSL 방법이 항상 우수한 것은 아니며 일부 구조적 성질에서 성능이 열 劣할 수 있음을 강조하기 위해.

제안 방법

• 사전 훈련된 분자의 그래프 임베딩을 평가하기 위한 세 가지 범주(일반적인 그래프 성질, 분자의 부분 구조 인식, 임베딩 공간 특성)의 탐사 작업을 포함하는 MolGraphEval 벤치마크 프레임워크를 제안한다.
• 200만 개의 ZINC15에서 9개의 GSSL 방법(예: GraphCL, InfoGraph, GraphMAE)을 사용해 1,875개의 사전 훈련된 GNN에서 고정된 임베딩을 기반으로 탐사 모델을 훈련한다.
• 도수 분포, 응집 계수, 지름, 조화성 등 구조적 특성에 대한 탐사 작업을 설계하고, 성능을 MSE 또는 교차 엔트로피로 평가한다.
• 후행 MPP 데이터셋(BBBP, Tox21 등)에서 선형 탐사 모델을 사용해 전이 성능를 평가하고, 미세조정 결과와 비교한다.
• 탐사 성능와 후행 MPP 점수 사이의 관계를 평가하기 위해 통계 분석(상관관계, p-값)을 적용한다.
• 최신 방법인 GraphMAE와 GRCL을 포함하도록 벤치마크를 확장하고, 더 큰 데이터셋인 200만 개의 ZINC15에서 검증한다.

실험 결과

연구 질문

• RQ1 GSSL 방법은 후행 분자의 성질 예측 외에도 그래프 구조나 부분 구조 특성에 대한 탐사 작업에서 어떻게 성능을 발휘하는가?
• RQ2 더 세밀한 탐사와 비교할 때 표준적인 MPP 벤치마크가 GSSL 방법의 평가를 얼마나 잘못 이끌 수 있는가?
• RQ3 일반적으로 양호한 표현을 나타낸다고 여겨지는 특성 분포의 균일성은 후행 MPP 성능과 상관관계가 있는가?
• RQ4 대조 기반 GSSL 방법이 다양한 타입의 탐사 작업에서 생성적 또는 마스킹 오토에코딩 방법보다 항상 뛰어나다고 할 수 있는가?
• RQ5 사전 훈련 초모수 조정이 사전 훈련 목적이 최적화되지 않은 경우에도 성능을 크게 향상시킬 수 있는가?

주요 결과

• GraphCL과 같은 대조 기반 GSSL 방법은 후행 MPP 성능에서 가장 높은 성능(예: BBBP에서 평균 65.07 AUC)을 기록하지만, 이는 항상 부분 구조나 구조적 성질 탐지와 같은 탐사 작업에서의 승리로 이어지지 않는다.
• 랜덤으로 초기화된 GNN은 일부 GSSL 방법보다 그래프 지름과 연결성 같은 구조적 성질에서 더 뛰어난 성능을 보이며, 이는 GSSL이 모든 구조적 특성에 대해 항상 유리한 것은 아님을 시사한다.
• 상호정보를 최대화하고 가장 균일한 특성 분포를 생성하는 InfoGraph는 MPP 작업에서 9개의 GSSL 방법 중 7위에 머물러 있으며, 이는 균일성이 항상 더 좋은 성능을 의미한다는 가정을 뒤집는다.
• 선형 탐사 대비 사전 훈련된 모델의 미세조정이 항상 후행 MPP 성능을 향상시키며, 미세조정과 선형 탐사 설정 간 최적의 사전 훈련 설정이 다름을 보여준다.
• MPP 성능과 탐사 작업 성능 사이의 상관관계는 약한 편이다(예: 도수에 대해 r=0.842, p=0.002), 이는 MPP 점수만으로는 종합적인 평가가 부족함을 시사한다.
• 사전 훈련 초모수 최적화가 성능 향상에 크게 기여하며, 이는 모델 설계와 훈련 설정이 사전 훈련 목표의 선택만큼 중요함을 시사한다.