[논문 리뷰] Edge Attention-based Multi-Relational Graph Convolutional Networks

Chao Shang, Qinqing Liu외 5명|arXiv (Cornell University)|2018. 02. 14.

Computational Drug Discovery Methods참고 문헌 34인용 수 68

한 줄 요약

이 논문은 결합 속성 다중 그래프를 다루는 GCN인 EAGCN을 소개합니다. 이는 결합 속성별 에지(attention) 매트릭스를 학습하고 분자 속성 예측을 위한 노드 특징을 집계합니다.

ABSTRACT

Graph convolutional network (GCN) is generalization of convolutional neural network (CNN) to work with arbitrarily structured graphs. A binary adjacency matrix is commonly used in training a GCN. Recently, the attention mechanism allows the network to learn a dynamic and adaptive aggregation of the neighborhood. We propose a new GCN model on the graphs where edges are characterized in multiple views or precisely in terms of multiple relationships. For instance, in chemical graph theory, compound structures are often represented by the hydrogen-depleted molecular graph where nodes correspond to atoms and edges correspond to chemical bonds. Multiple attributes can be important to characterize chemical bonds, such as atom pair (the types of atoms that a bond connects), aromaticity, and whether a bond is in a ring. The different attributes lead to different graph representations for the same molecule. There is growing interests in both chemistry and machine learning fields to directly learn molecular properties of compounds from the molecular graph, instead of from fingerprints predefined by chemists. The proposed GCN model, which we call edge attention-based multi-relational GCN (EAGCN), jointly learns attention weights and node features in graph convolution. For each bond attribute, a real-valued attention matrix is used to replace the binary adjacency matrix. By designing a dictionary for the edge attention, and forming the attention matrix of each molecule by looking up the dictionary, the EAGCN exploits correspondence between bonds in different molecules. The prediction of compound properties is based on the aggregated node features, which is independent of the varying molecule (graph) size. We demonstrate the efficacy of the EAGCN on multiple chemical datasets: Tox21, HIV, Freesolv, and Lipophilicity, and interpret the resultant attention weights.

연구 동기 및 목표

• 다중 결합 속성을 가진 분자 그래프로부터 분자 속성을 직접 학습하도록 동기를 부여합니다.
• 이진 인접 행렬 대신 에지 특이적 어텐션 매트릭스를 사용하는 GCN 변형을 제안합니다.
• 결합과 분자 간 에지 어텐션을 공유하기 위해 사전을 사용하여 분자 간 일관성을 가능하게 합니다.
• 표준 화학 데이터셋에서 모델의 효과를 입증합니다.
• 학습된 어텐션 가중치를 해석하여 결합의 중요성에 대한 통찰을 제공합니다.

제안 방법

• 이진 인접 행렬을 대체하기 위해 각 결합 속성에 대한 에지 어텐션 매트릭스를 도입합니다.
• 에지 어텐션을 매핑하기 위해 사전을 사용하여 서로 다른 분자 간의 대응을 가능하게 합니다.
• 그래프 컨볼루션 내에서 어텐션 가중치와 노드 특징을 함께 학습합니다.
• 그래프 크기에 독립적인 분자 수준 예측을 생성하기 위해 노드 특징을 집계합니다.
• 성능을 검증하고 어텐션을 해석하기 위해 화학 데이터셋에서 평가합니다.

실험 결과

연구 질문

• RQ1 다중 결합 속성에 대한 에지-별 어텐션이 이진 인접 GCN보다 분자 속성 예측을 향상시킬 수 있나요?
• RQ2 사전을 통해 분자 간 에지 어텐션을 공유하는 것이 학습과 일반화에 어떤 영향을 미치나요?
• RQ3 학습된 어텐션 가중치가 속성의 결합 관련 결정 인자에 대해 해석 가능한 통찰을 제공하나요?
• RQ4 EAGCN은 수작업 지문 없이 다양한 크기와 속성을 가진 그래프에 확장 가능합니까?

주요 결과

• EAGCN은 화학 데이터셋 Tox21, HIV, Freesolv 및 Lipophilicity에서 효능을 보여줍니다.
• 모델은 다중 관계 그래프에서 어텐션 가중치와 노드 특징을 함께 학습합니다.
• 어텐션 가중치는 예측에서 결합의 중요성을 이해하는 데 해석될 수 있습니다.
• 에지 어텐션 방식은 여러 결합 속성에 걸친 동적이고 적응형 집계를 가능하게 합니다.