[논문 리뷰] Exploiting Edge Features in Graph Neural Networks

Liyu Gong, Qiang Cheng|arXiv (Cornell University)|2018. 09. 07.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 이중 확산 정규화, 계층 간 적응형 엣지 특징 업데이트, 일반화된 어텐션 메커니즘을 통해 다차원 엣지 특징을 활용함으로써 그래프 학습을 향상시키는 엣지 강화 그래프 신경망(EGNN)을 제안한다. 이 방법은 노드 분류 및 분자 성질 예측에서 GCN와 GAT을 능가하며, Tox21에서 AUC가 0.2 이상 향상되고 Freesolv에서 RMSE가 0.3 향상된다.

ABSTRACT

Edge features contain important information about graphs. However, current state-of-the-art neural network models designed for graph learning, e.g. graph convolutional networks (GCN) and graph attention networks (GAT), adequately utilize edge features, especially multi-dimensional edge features. In this paper, we build a new framework for a family of new graph neural network models that can more sufficiently exploit edge features, including those of undirected or multi-dimensional edges. The proposed framework can consolidate current graph neural network models; e.g. graph convolutional networks (GCN) and graph attention networks (GAT). The proposed framework and new models have the following novelties: First, we propose to use doubly stochastic normalization of graph edge features instead of the commonly used row or symmetric normalization approches used in current graph neural networks. Second, we construct new formulas for the operations in each individual layer so that they can handle multi-dimensional edge features. Third, for the proposed new framework, edge features are adaptive across network layers. As a result, our proposed new framework and new models can exploit a rich source of graph information. We apply our new models to graph node classification on several citation networks, whole graph classification, and regression on several molecular datasets. Compared with the current state-of-the-art methods, i.e. GCNs and GAT, our models obtain better performance, which testify to the importance of exploiting edge features in graph neural networks.

연구 동기 및 목표

• 최신 GNN인 GCN와 GAT에서 다차원 엣지 특징이 제대로 활용되지 않는 문제를 해결하기 위해.
• 고정된 초기 인접 행렬 대신 네트워크 계층 간 엣지 특징을 적응적으로 조정하여 그래프 표현 학습을 향상시키기 위해.
• 다양한 다차원 엣지 특징을 처리할 수 있도록 GCN와 GAT을 확장하는 통합 프레임워크를 개발하기 위해.
• 방향성 있는 엣지를 위한 새로운 엣지 특징 설계를 통해 방향성 있는 그래프의 효과적인 모델링을 가능하게 하기 위해.
• 노드 수준 및 그래프 수준의 회귀/분류 작업에서 제안된 프레임워크의 우수성을 경험적으로 검증하기 위해.

제안 방법

• GCN와 GAT에서 사용하는 행 또는 대칭 정규화 대신 엣지 특징에 대한 이중 확산 정규화를 도입한다.
• 다차원 엣지 특징을 어텐션 가중치 계산에 통합하는 일반화된 어텐션 메커니즘을 제안한다.
• 각 계층에서 엣지 특징을 동적으로 개선할 수 있도록 학습 가능한 엣지 특징 업데이트 메커니즘을 설계한다.
• 그래프 컨볼루션 연산에서 다차원 엣지 특징을 지원하는 새로운 메시지 전달 공식을 개발한다.
• 훈련에 대해 지수선형 단위(ELU)를 활성화 함수로 사용하고, L2 정규화와 함께 Adam 옵timizer를 적용한다.
• 방향성 있는 엣지를 위한 엣지 특징을 대칭 변환을 사용하여 구성하여 방향 정보를 모델이 유지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이진 또는 일차원 엣지 특징에 비해 다차원 엣지 특징이 그래프 신경망의 성능 향상에 크게 기여할 수 있는가?
• RQ2 고정된 엣지 특징 대비 계층 간 적응형 엣지 특징 학습이 더 나은 표현 학습을 이끌 수 있는가?
• RQ3 모델 안정성과 성능 측면에서 이중 확산 정규화는 행 정규화 또는 대칭 정규화보다 어떻게 비교되는가?
• RQ4 제안된 프레임워크는 풍부한 엣지 속성을 가진 무방향 및 방향성 있는 그래프를 효과적으로 처리할 수 있는가?
• RQ5 엣지 특징을 통합할 경우 노드 수준 및 그래프 수준의 예측 작업 성능 향상은 어느 정도 이루어지는가?

주요 결과

• Tox21 데이터셋에서 EGNN(C)와 EGNN(A)는 다중 레이블 분류 작업에서 Weave 기준보다 평균 AUC가 0.2 이상 향상되었다.
• Lipophilicity 데이터셋에서 EGNN 모델은 회귀 작업에서 Weave 모델 대비 약 0.1의 RMSE 감소를 기록했다.
• Freesolv 데이터셋에서 EGNN 모델은 Weave 기준으로 약 0.3의 RMSE 향상을 달성했다.
• EGNN(C)와 EGNN(A)는 모두 세 분자 데이터셋에서 거의 동일한 성능를 보였으며, 이는 아키텍처의 변형에 대해 뛰어난 내구성을 보임을 시사한다.
• 제거 실험 결과, 이중 확산 정규화, 적응형 엣지 특징, 다차원 어텐션 각각이 전체 성능 향상에 기여하는 데 중요한 역할을 했다.
• 제안된 프레임워크는 모든 벤치마크 데이터셋에서 GCN와 GAT을 일관되게 능가하여 일반화 능력과 효과성을 입증했다.