[논문 리뷰] Utilizing Edge Features in Graph Neural Networks via Variational Information Maximization

Pengfei Chen, Weiwen Liu외 3명|arXiv (Cornell University)|2019. 06. 13.

Machine Learning in Materials Science참고 문헌 29인용 수 17

한 줄 요약

이 논문은 변동형 하한을 통해 엣지 특징과 학습 가능한 변환 행렬 간의 상호정보를 최대화함으로써 GNN 성능을 향상시키는 정보 최대화 그래프 신경망(IGNN)을 제안한다. 메시지 전파 과정에서 엣지 정보를 명시적으로 유지함으로써, IGNN은 분자의 성질 예측에서 최신 기술 수준의 성능을 달성하였으며, 약물 발굴 과제에서 pIC50 예측에 대해 0.6174 MAE 및 0.835 R을 기록하였다.

ABSTRACT

Graph Neural Networks (GNNs) achieve an impressive performance on structured graphs by recursively updating the representation vector of each node based on its neighbors, during which parameterized transformation matrices should be learned for the node feature updating. However, existing propagation schemes are far from being optimal since they do not fully utilize the relational information between nodes. We propose the information maximizing graph neural networks (IGNN), which maximizes the mutual information between edge states and transform parameters. We reformulate the mutual information as a differentiable objective via a variational approach. We compare our model against several recent variants of GNNs and show that our model achieves the state-of-the-art performance on multiple tasks including quantum chemistry regression on QM9 dataset, generalization capability from QM9 to larger molecular graphs, and prediction of molecular bioactivities relevant for drug discovery. The IGNN model is based on an elegant and fundamental idea in information theory as explained in the main text, and it could be easily generalized beyond the contexts of molecular graphs considered in this work. To encourage more future work in this area, all datasets and codes used in this paper will be released for public access.

연구 동기 및 목표

• 기존 GNN 모델이 메시지 전파 과정에서 엣지 특징을 완전히 활용하지 못하는 한계를 해결하기 위해.
• 결합 유형이나 거리와 같은 엣지 속성이 중요한 관계 정보를 담고 있는 구조적 그래프에서 GNN 성능을 향상시키기 위해.
• GNN 내 엣지 특징과 변환 매개변수 간의 의존성을 명시적으로 모델링하는 미분 가능하고 확장 가능한 방법을 개발하기 위해.
• QM9 데이터셋을 초월하여 더 크고 다양한 분자의 그래프에 대한 일반화 능력을 평가하기 위해.
• 특히 분자의 생물활성 예측에서 pIC50 값을 예측하는 데 있어 실제 약물 발굴 응용에서의 모델 효과성을 입증하기 위해.

제안 방법

• GNN 내 엣지 특징 벡터와 학습 가능한 변환 행렬 간의 상호정보를 최대화하는 목표를 수립한다.
• 기울기 계산이 가능한 형태로 만들기 위해, 계산이 불가능한 상호정보 목표를 변동형 하한으로 재구성한다.
• 실제 조건부 분포를 근사하기 위해 변동형 사후 분포를 도입한다.
• 엣지에서 노드 표현으로의 정보 보존을 장려하는 정규화된 목표 함수로 GNN을 학습한다.
• 학습 가능한 엣지 네트워크를 사용하여 엣지 특징에 조건부인 변환 행렬을 생성함으로써 엣지별 메시지 전파를 가능하게 한다.
• 표준 메시지 전파 프레임워크 내에서, 이웃 집합의 평균화와 엣지 조건부 변환을 통해 노드 표현을 갱신한다.

실험 결과

연구 질문

• RQ1 엣지 특징과 변환 행렬 간의 상호정보를 최대화하는 것이 그래프 구조 데이터에서 GNN 성능 향상에 기여하는가?
• RQ2 제안된 IGNN 모델은 더 크고 다양한 분자의 그래프로의 일반화 능력에서 기존 GNN 모델과 비교해 어떻게 다른가?
• RQ3 엣지 정보 활용이 분자의 성질 회귀 및 약물 발굴 과제에서 예측 성능 향상에 얼마나 기여하는가?
• RQ4 변동형 정보 최대화 접근법이 연속적인 엣지 특징을 가진 GNN에 안정적이고 효과적인 유도적 편향을 제공하는가?
• RQ5 이 모델은 분자의 그래프를 초월하여 다른 다중관계 그래프 학습 시나리오로 일반화될 수 있는가?

주요 결과

• IGNN는 QM9 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 양자 화학 회귀 과제에서 기존 GNN 변종들을 능가하였다.
• 더 큰 분자의 그래프를 대상으로 한 일반화 벤치마크에서, IGNN는 가장 낮은 MAE를 기록하였고, 전체 과제의 1/3에서 모든 베이스라인을 앞서는 성능을 보이며 뛰어난 일반화 능력을 입증하였다.
• ChEMBL 데이터셋에서의 pIC50 예측에서, IGNN는 MAE 0.6174와 피어슨 상관계수(R) 0.835를 기록하였으며, 비교된 모든 모델 중에서 최고의 성능을 보였다.
• 모델의 성공은 상호정보 최대화를 통한 엣지 정보 보존 능력에 기인하며, 이는 정규화 유도적 편향으로 작용한다.
• MPNN나 GIN과 같은 모델과 비교해 볼 때, 엣지 거리나 연속적인 엣지 특징이 중요한 과제, 예를 들어 R2 예측 과제에서 IGNN는 더 뛰어난 성능을 보였다.
• 제거 실험 결과, 변동형 정보 최대화 목표 함수가 성능 향상에 크게 기여함을 확인하였으며, 핵심 설계 선택의 타당성을 입증하였다.