[논문 리뷰] Graph Self-Supervised Learning for Optoelectronic Properties of Organic Semiconductors

Zaixi Zhang, Qi Liu외 4명|arXiv (Cornell University)|2021. 12. 02.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 유기 반도체의 광전자적 성질을 예측하기 위해 그래프 신경망(GNNs)의 성능을 향상시키기 위해 그래프 자기지도 학습(SSL) 프레임워크를 제안한다. 이는 레이블이 없는 분자 데이터를 활용해 사전 훈련하는 방식이다. 특히 레이블이 적은 경우에 유의미한 성능 향상을 이룩하며, 평형 상태의 기본 상태와 비평형 상태의 온도 높은 상태 성질 모두에서 평균 절대 오차(MAE)가 최대 22% 감소한다.

ABSTRACT

The search for new high-performance organic semiconducting molecules is challenging due to the vastness of the chemical space, machine learning methods, particularly deep learning models like graph neural networks (GNNs), have shown promising potential to address such challenge. However, practical applications of GNNs for chemistry are often limited by the availability of labelled data. Meanwhile, unlabelled molecular data is abundant and could potentially be utilized to alleviate the scarcity issue of labelled data. Here, we advocate the use of self-supervised learning to improve the performance of GNNs by pre-training them with unlabeled molecular data. We investigate regression problems involving ground and excited state properties, both relevant for optoelectronic properties of organic semiconductors. Additionally, we extend the self-supervised learning strategy to molecules in non-equilibrium configurations which are important for studying the effects of disorder. In all cases, we obtain considerable performance improvement over results without pre-training, in particular when labelled training data is limited, and such improvement is attributed to the capability of self-supervised learning in identifying structural similarity among unlabeled molecules.

연구 동기 및 목표

• 유기 반도체(OSCs)의 광전자적 성질을 예측하기 위해 GNN을 훈련할 때 발생하는 레이블이 부족한 문제를 해결한다.
• 데이터베이스와 시뮬레이션에서 확보할 수 있는 풍부한 레이블이 없는 분자 데이터를 활용해 자기지도 학습(SSL)을 통해 GNN을 사전 훈련한다.
• 비평형 분자 구조로의 SSL 확장을 통해 불순물이 전자적 성질에 미치는 영향을 모델링한다.
• 레이블이 부족한 상황에서도 기본 상태와 온도 높은 상태 성질의 예측 정확도를 향상시킨다.
• 사전 훈련된 GNN이 다양한 광전자적 성질 예측 작업 간에 이식 가능함을 보여준다.

제안 방법

• 구조적 불변성을 학습하기 위해 대규모 레이블이 없는 분자 데이터를 사용해 대비 기반 자기지도 학습 목표를 활용해 GNN을 사전 훈련한다.
• 평형 상태 분자 구조의 입력으로 SMILES 문자열을 사용하고, 비평형 상태 구조의 경우 3D 원자 좌표를 통합한다.
• 비평형 상태 구조의 경우, SchNet의 반경 기반 함수(RBF) 레이어 이후의 원자 간 거리 특징 벡터를 마스킹하고, 이를 재구성하도록 모델을 훈련한다.
• 광전자적 성질 예측(예: 온도 높은 상태 에너지 및 전이 이중극모멘트)을 위한 회귀 작업에 맞게 사전 훈련된 GNN을 미세 조정한다.
• 3D 분자 기하학을 처리하고 공간적으로 정보가 반영된 표현을 학습하기 위해 SchNet을 기반 GNN 아키텍처로 활용한다.
• t-SNE 시각화를 통해 유사한 구조를 가진 분자들이 학습된 임베딩 공간에서 군집화되어 있음을 확인하여, 효과적인 구조 표현 학습이 이루어졌음을 확인한다.

실험 결과

연구 질문

• RQ1 레이블이 부족한 상황에서 GNN의 자기지도 사전 훈련이 유기 반도체의 광전자적 성질 예측 정확도를 향상시킬 수 있는가?
• RQ2 SSL 사전 훈련이 비평형 상태의 분자 온도 높은 상태 성질 예측 성능에 어떤 영향을 미치는가?
• RQ3 SSL 사전 훈련의 성능 향상 정도가 레이블 훈련 데이터의 양에 따라 얼마나 의존하는가?
• RQ4 명시적인 레이블 없이도 SSL이 분자 간의 구조 유사성을 효과적으로 포착할 수 있는가?
• RQ5 SSL 사전 훈련에 3D 분자 좌표를 포함시키면 구성에 따라 달라지는 전자적 성질 예측 능력이 향상되는가?

주요 결과

• 레이블이 1,000개 뿐일 경우, 온도 높은 상태 에너지 예측의 평균 절대 오차(MAE)가 1.81 eV에서 1.42 eV로 약 22% 감소하여 자기지도 사전 훈련이 성능 향상을 이룬다.
• 레이블 데이터가 증가함에 따라 SSL 사전 훈련의 성능 향상은 점점 줄어들며, 4,000개 이상의 레이블 샘플에서는 거의 미미해진다.
• 전이 이중극모멘트 크기 예측과 같은 더 어려운 과제에서는, 1,000~5,000개의 레이블 샘플 전역에서 일관되게 16~20%의 향상이 이루어진다.
• t-SNE 시각화 결과, 구조적으로 유사한 분자들이 학습된 임베딩 공간에서 함께 군집되어 있음을 확인하여, 사전 훈련 과정에서 분자의 구조적 위상이 효과적으로 포착되었음을 시사한다.
• 사전 훈련된 GNN은 다양한 과제로 잘 일반화되며, 레이블이 적은 경우에도 최소한의 레이블로 다양한 광전자적 성질 예측에 대해 미세 조정이 가능하다.
• 이 방법은 비평형 상태로의 SSL 확장을 성공적으로 구현하여, 3D 분자 동역학 데이터를 활용해 불순물 영향에 의한 전자적 성질의 정확한 모델링을 가능하게 하였다.