[논문 리뷰] Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

Ryan Henderson, Djork-Arné Clevert외 1명|arXiv (Cornell University)|2021. 05. 11.

Machine Learning in Materials Science인용 수 12

한 줄 요약

이 논문은 분자의 그래프 신경망(GNN)의 해석 가능성 향상을 위해 두 가지 정규화 기법—배치 표현 직교화(BRO)와 지니 정규화—를 소개한다. BRO는 학습 중에 노드 임베딩의 직교성을 강제로 유지하며, 지니 정규화는 출력층 가중치의 흐ř을 유도하여 더 집중적이고 화학적으로 타당한 기여도 맵을 생성한다. 인간 전문가들은 특히 용해도 및 logD 예측에서 정규화된 모델의 설명을 유의미하게 선호하였다.

ABSTRACT

Rationalizing which parts of a molecule drive the predictions of a molecular graph convolutional neural network (GCNN) can be difficult. To help, we propose two simple regularization techniques to apply during the training of GCNNs: Batch Representation Orthonormalization (BRO) and Gini regularization. BRO, inspired by molecular orbital theory, encourages graph convolution operations to generate orthonormal node embeddings. Gini regularization is applied to the weights of the output layer and constrains the number of dimensions the model can use to make predictions. We show that Gini and BRO regularization can improve the accuracy of state-of-the-art GCNN attribution methods on artificial benchmark datasets. In a real-world setting, we demonstrate that medicinal chemists significantly prefer explanations extracted from regularized models. While we only study these regularizers in the context of GCNNs, both can be applied to other types of neural networks

연구 동기 및 목표

• 모델 예측의 명확성과 합리성을 높여 분자의 그래프 신경망(GNN) 예측을 해석하기 어려운 문제를 해결하기 위해 기여도 맵의 품질을 향상시키는 것.
• GNN에서 상관관계가 있거나 조밀한 노드 표현으로 인해 발생하는 설명의 혼란을 줄이는 것.
• 예측 성능을 희생시키지 않은 채 학습된 표현에서 흐ř과 직교성을 촉진하는 정규화 기법을 개발하는 것.
• 정규화된 모델이 실제 약물 발견 환경에서 약물 화학자들이 선호하는 설명을 생성하는지 평가하는 것.
• 간단하고 일반화 가능한 학습 시 정규화를 통해 해석 가능성 향상을 달성할 수 있음을 입증하는 것.

제안 방법

• 배치 표현 직교화(BRO)는 선형 오비탈 조합(LCAO) 이론에 영감을 받아, 배치 내 노드 표현의 직교성을 강제로 유지하기 위한 정규화 손실을 적용한다.
• BRO 손실은 노드 표현의 그람 행렬이 항등행렬에서 벗어나지 않도록 프로베니우스 노름을 사용해 페널티를 최소화한다.
• 지니 정규화는 출력층 가중치에 적용되어 흐ř을 유도하며, 예측에 더 적은 차원에 의존하도록 모델을 제약한다.
• 학습 중에 출력층 가중치의 지니 계수를 최소화하여 몇 가지 주요 기능에 집중하고 부차적인 기능은 억제한다.
• 두 정규화 기법은 모두 PyTorch Geometric에 구현되어 있으며, 다중 작업 모델을 포함한 기존 GNN 아키텍처와 호환된다.
• 메서드는 인위적 벤치마크와 실제 물리화학적 성질 예측 작업에서 평가되었으며, 전문가 선호도 설문 조사도 실시되었다.

실험 결과

연구 질문

• RQ1 노드 표현의 직교성을 강제로 적용하면 분자의 GNN에서 기여도 맵의 품질이 향상되는가?
• RQ2 출력층 가중치의 흐ř을 유도하면 더 해석 가능하고 집중적인 예측이 가능한가?
• RQ3 이 정규화 기법들이 벤치마크 데이터셋에서 최신 기여도 방법의 성능을 향상시키는가?
• RQ4 의약 화학자들이 BRO 및 지니 정규화로 학습된 모델이 생성한 기여도 맵을 베이스라인 모델보다 선호하는가?
• RQ5 이 정규화 기법들이 실제 분자의 성질 예측 작업에서 예측 성능에 어느 정도 영향을 미치는가?

주요 결과

• 의약 화학자들은 특히 용해도 및 logD 예측에서 BRO와 지니 정규화를 동시에 적용한 모델의 기여도 맵을 유의미하게 선호하였으며, logD의 경우 변동계수는 0.95를 기록하였다.
• 정규화된 모델에 대한 선호도는 화학자가 쉽게 설명할 수 있는 엔드포인트인 logD에서 가장 두드러졌으며, 융해점처럼 더 복잡한 엔드포인트는 높은 불일치를 보였다.
• 인위적 벤치마크에서 지니 및 BRO 정규화는 여러 기여도 방법의 AUROC를 향상시켜 관련 원자의 기여도를 더 잘 식별할 수 있음을 시사했다.
• 실제 작업에서의 예측 성능는 약간의 저하를 보였으며, 가장 큰 R² 감소는 LOP 용해도 엔드포인트에서 관찰되었고(0.47에서 0.34로), 이는 하이퍼파rameter 튜닝을 통해 회복 가능할 수 있다.
• BRO 정규화는 모든 작업에서 예측 성능를 약간 감소시켰으며, 벤젠 작업에서 거의 완벽한 분류 성능를 유지한 점을 감안하면 해석 가능성과 정확성 사이의 상충 관계가 있음을 시사한다.
• BRO와 지니 정규화의 조합은 더 분리되고 국소화된 표현을 만들어내어 더 명확하고 화학적으로 직관적인 설명을 유도하였다.