[논문 리뷰] Does GNN Pretraining Help Molecular Representation?

Ruoxi Sun, Dai, Hanjun외 1명|arXiv (Cornell University)|2022. 07. 13.

Machine Learning in Materials ScienceMaterials Science인용 수 18

한 줄 요약

이 논문은 소규모 분자 데이터셋에서 자기지도 학습 그래프 신경망(GNN) 사전학습이 분자 표현 학습을 향상시키는지 조사한다. 사전학습 목표, 데이터 분할, 특징, 하이퍼파라미터 등에 대한 체계적인 분석을 통해 저자들은 사전학습이 종종 무작위 초기화로 학습하는 것보다 통계적으로 유의미한 성능 향상을 제공하지 못하며, 하이퍼파라미터 튜닝과 특징 공학이 사전학습의 이점을 능가할 수 있음을 발견한다. 이는 분자 AI에서 GNN 사전학습의 보편성에 대한 가정을 도전한다.

ABSTRACT

Extracting informative representations of molecules using Graph neural networks (GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self-supervised pretraining in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised pretraining on small molecular data can be negligible in many cases. We conduct thorough ablation studies on the key components of GNN pretraining, including pretraining objectives, data splitting methods, input features, pretraining dataset scales, and GNN architectures, to see how they affect the accuracy of the downstream tasks. Our first important finding is, self-supervised graph pretraining do not always have statistically significant advantages over non-pretraining methods in many settings. Secondly, although noticeable improvement can be observed with additional supervised pretraining, the improvement may diminish with richer features or more balanced data splits. Thirdly, hyper-parameters could have larger impacts on accuracy of downstream tasks than the choice of pretraining tasks, especially when the scales of downstream tasks are small. Finally, we provide our conjectures where the complexity of some pretraining methods on small molecules might be insufficient, followed by empirical evidences on different pretraining datasets.

연구 동기 및 목표

• 자기지도 학습 GNN 사전학습이 분자 성질 예측 작업에 대해 일관된 성능 향상을 제공하는지 평가하는 것.
• 데이터 분할, 입력 특징, 사전학습 목표, 하이퍼파라미터 등의 핵심 실험 요인들이 최종 성능에 미치는 영향을 분리하고 분석하는 것.
• 특히 소규모 데이터셋에서 사전학습이 분자 표현 학습을 일반적으로 향상시킨다는 가정을 도전하는 것.
• 어떤 사전학습 방법이 하류 분자 작업으로 지식을 효과적으로 전이하지 못하는지 조사하는 것.
• 사전학습의 이점이 가려지거나 과대평가되는 요인들을 규명하여 향후 연구를 안내하는 것.

제안 방법

• 저자들은 사전학습 목표(자기지도, 지도, 또는 둘 다), 입력 특징(기본형 대비 풍부한 형태), 데이터 분할(스캐폴드 대비 균형 잡힌 방식), GNN 아키텍처(GIN, GraphSAGE)를 변화시켜 13개의 실험 구성에서 체계적인 분석을 수행한다.
• 표준 이진 분류 지표를 사용하여 BBBP, BACE, TOX21, TOXCAST, SIDER 등 다섯 개인 벤치마크 분자 데이터셋에서 반복 실행을 통해 통계적 신뢰성을 확보한다.
• 대규모 비라벨 데이터셋인 ZINC15와 SAVI에서 사전학습한 후 미세조정한 모델과 무작위 초기화로 학습한 모델을 비교한다.
• 각 설정에 대해 하이퍼파라미터 검색을 수행하며, 학습률과 학습 반복 수를 변화시켜 민감도를 평가한다.
• 실험 결과를 서로 비교하여 특징 공학이나 데이터 분할 전략과 같은 다른 요인들에 비해 사전학습의 기여도를 분리한다.
• GROVER, Hu 등(2020)의 이전 연구 결과를 재현하여 실험 파이프라인의 타당성과 재현 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 분자 그래프에서 자기지도 사전학습이 하류 분자 성질 예측 작업에서 통계적으로 유의미한 성능 향상을 이끌어내는가?
• RQ2 데이터 분할 전략(예: 스캐폴드 대비 랜덤)은 사전학습의 이점에 어떤 영향을 미치는가?
• RQ3 수작업으로 만든 특징이나 하이퍼파라미터 튜닝의 기여도가 사전학습의 이점보다 클 정도로 큰가?
• RQ4 자기지도 사전학습 이후 지도 학습을 추가로 수행하면 일관된 향상이 이루어지며, 어떤 조건에서 이러한 향상이 감소하는가?
• RQ5 현재의 사전학습 목표가 소규모 분자 데이터셋으로는 효과적으로 지식을 전이하지 못하는 이유는 무엇인가?

주요 결과

• 자기지도 사전학습만으로는 대부분의 분자 벤치마크 작업에서 무작위 초기화로 학습하는 것보다 통계적으로 유의미한 성능 향상을 얻지 못한다.
• 자기지도 사전학습 이후 지도 학습을 추가하면 성능 향상이 관찰되지만, 더 풍부한 입력 특징을 사용할 경우 이러한 이점은 미미하거나 감소한다.
• 하이퍼파라미터, 특히 학습률과 학습 반복 수의 선택은 사전학습 목표의 선택보다 소규모 데이터셋에서는 최종 정확도에 더 큰 영향을 미친다.
• 데이터 분할 방법은 결과에 크게 영향을 미친다: 스캐폴드 분할은 사전학습의 이점을 가려내는 경향이 있으며, 균형 잡힌 분할은 더 일관된 경향을 드러낸다.
• 이전 연구에서 보고된 강력한 사전학습 성능 향상은 광범위한 하이퍼파라미터 튜닝이 필요하며, 일부 경우에서는 보고된 향상이 사전학습 자체보다 실험 설정의 영향을 더 많이 받을 수 있다.
• 저자들은 현재 사전학습 목표의 복잡성이 소분자에는 충분하지 않아 전이 가능한 지식이 제한될 수 있다고 가설을 제시한다.