[논문 리뷰] A Lagrangian Approach to Information Propagation in Graph Neural Networks

Matteo Tiezzi, Giuseppe Marra외 3명|arXiv (Cornell University)|2020. 02. 18.

Advanced Graph Neural Networks참고 문헌 24인용 수 7

한 줄 요약

이 논문은 고정점 상태 계산을 제약 조건에 직접 통합함으로써 학습 중 반복적 확산을 제거하는 그래프 신경망(GNN)을 위한 라그랑주 프레임워크를 제안한다. 등장점 탐색을 통해 노드 상태, 가중치, 라그랑주 승수를 동시에 최적화함으로써, 더 깊은 모델에 비해 경쟁력 있는 성능을 달성하면서도 반복적 고정점 조정 없이 간단한 얕은 아키텍처를 사용한다. 그래프 분류 벤치마크에서 더 깊은 모델을 능가하거나 그에 맞추어 성능을 내며, 명시적 고정점 완화 없이도 성능을 확보한다.

ABSTRACT

In many real world applications, data are characterized by a complex structure, that can be naturally encoded as a graph. In the last years, the popularity of deep learning techniques has renewed the interest in neural models able to process complex patterns. In particular, inspired by the Graph Neural Network (GNN) model, different architectures have been proposed to extend the original GNN scheme. GNNs exploit a set of state variables, each assigned to a graph node, and a diffusion mechanism of the states among neighbor nodes, to implement an iterative procedure to compute the fixed point of the (learnable) state transition function. In this paper, we propose a novel approach to the state computation and the learning algorithm for GNNs, based on a constraint optimisation task solved in the Lagrangian framework. The state convergence procedure is implicitly expressed by the constraint satisfaction mechanism and does not require a separate iterative phase for each epoch of the learning procedure. In fact, the computational structure is based on the search for saddle points of the Lagrangian in the adjoint space composed of weights, neural outputs (node states), and Lagrange multipliers. The proposed approach is compared experimentally with other popular models for processing graphs.

연구 동기 및 목표

• 기존 GNN에서 각 학습 에포크 동안 반복적 고정점 계산으로 인한 계산 비효율성을 해결하기 위해.
• 라그랑주 프레임워크 내에서 제약 조건 최적화 문제로 GNN 학습을 재구성하여 상태와 가중치 최적화를 통합하기 위해.
• 수렴 조건을 제약 조건 이행에 통합함으로써 별도의 반복적 확산 단계가 필요 없도록 하기 위해.
• 라그랑주 최적화를 적용한 얕은 GNN 아키텍처가 더 깊고 복잡한 GNN 모델과 동등하거나 그 이상의 성능을 내는지 평가하기 위해.
• 확산과 깊은 특징 추출 간의 역할을 분리하여, 이들이 GNN 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 노드 상태 수렴을 라그랑주 제약 조건을 통해 강제하는 제약 조건 최적화 문제로 GNN 학습을 공식화하기 위해.
• 접근 공간에서 가중치, 노드 상태(신경망 출력), 라그랑주 승수를 포함한 라그랑주 함수를 정의하기 위해.
• 라그랑주 함수의 등장점 탐색을 통해 동시 최적화를 수행함으로써, 명시적 반복 없이도 상태 수렴을 암묵적으로 강제하기 위해.
• 학습 중에 가중치, 노드 상태, 라그랑주 승수를 동시에 업데이트하기 위해 원-이중 최적화 기법을 사용하기 위해.
• 고정점 조건을 모델링하기 위해 유연한 제약 함수 G(⋅)를 활용하여 강건성과 일반화 능력을 향상시키기 위해.
• 라그랑주 함수를 통해 역전파를 통해 엔드 투 엔드로 학습되는 상태 전이 함수를 포함한 GNN 프레임워크에 방법을 통합하기 위해.

실험 결과

연구 질문

• RQ1 GNN에서 고정점 상태 계산을 제약 조건을 통해 학습 목표에 직접 통합하여 반복적 보정이 필요 없도록 할 수 있는가?
• RQ2 라그랑주 기반 최적화 프레임워크는 별도의 반복 단계 없이 노드 상태와 모델 가중치를 동시에 학습시킬 수 있는가?
• RQ3 라그랑주 전파를 적용한 얕은 GNN 아키텍처가 그래프 분류 작업에서 더 깊고 복잡한 GNN 모델과 동등하거나 그 이상의 성능을 낼 수 있는가?
• RQ4 확산과 깊은 특징 추출을 분리함으로써 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 다양한 제약 함수가 모델의 강건성과 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 제안된 LP-GNN 프레임워크는 더 깊고 복잡한 아키텍처에 비해 더 단순하고 얕은 아키텍처를 사용하면서도 GCN, DGCNN, GIN-GNN과 같은 최첨단 GNN 모델과 비교해도 경쟁력 있거나 뛰어난 성능을 달성한다.
• Cora, PubMed, PTC 등의 벤치마크 데이터셋에서 평균적으로 LP-GNN은 더 깊은 모델과 동등하거나 뛰어난 정확도를 기록하며, 더 복잡한 아키텍처의 성능과 비슷하거나 뛰어나다.
• 학습 중 반복적 고정점 계산이 필요 없어지면서 계산 파이프라인의 단순화와 학습 오버헤드 감소가 이루어진다.
• 확산과 깊은 표현 메커니즘의 분리 결과, 얕은 노드 표현을 가진다 해도 효과적인 정보 전파만으로도 강력한 성능을 낼 수 있음을 입증하였다.
• 학습률, 은닉 유닛, 드롭아웃 비율 등의 하이퍼파라미터 튜닝 결과, 다양한 설정에서 안정적인 성능을 보이며 강건성을 입증하였다.
• 제약 기반 공식화 덕분에 제약 함수 G(⋅)의 선택을 통해 다른 고정점 최적화 전략을 쉽게 통합할 수 있다.