[논문 리뷰] High-Order Pooling for Graph Neural Networks with Tensor Decomposition

Chenqing Hua, Guillaume Rabusseau외 1명|arXiv (Cornell University)|2022. 05. 24.

Tensor decomposition and applications인용 수 6

한 줄 요약

이 논문은 대칭 CP 분해를 사용하여 노드 특징 간의 고차수 비선형 상호작용을 순열 불변 다중선형 맵을 통해 모델링하는 텐서 기반 그래프 신경망 tGNN을 제안한다. 이 방법은 표준 풀링 레이어를 학습 가능한 표현력 있는 CP 기반 집계 레이어로 대체하여 여러 OGB 벤치마크에서 최신 기준 성능을 달성하며, 계산 효율성을 유지하면서도 노드 및 그래프 분류 정확도를 크게 향상시킨다.

ABSTRACT

Graph Neural Networks (GNNs) are attracting growing attention due to their effectiveness and flexibility in modeling a variety of graph-structured data. Exiting GNN architectures usually adopt simple pooling operations (eg. sum, average, max) when aggregating messages from a local neighborhood for updating node representation or pooling node representations from the entire graph to compute the graph representation. Though simple and effective, these linear operations do not model high-order non-linear interactions among nodes. We propose the Tensorized Graph Neural Network (tGNN), a highly expressive GNN architecture relying on tensor decomposition to model high-order non-linear node interactions. tGNN leverages the symmetric CP decomposition to efficiently parameterize permutation-invariant multilinear maps for modeling node interactions. Theoretical and empirical analysis on both node and graph classification tasks show the superiority of tGNN over competitive baselines. In particular, tGNN achieves the most solid results on two OGB node classification datasets and one OGB graph classification dataset.

연구 동기 및 목표

• 표준 선형 풀링 연산(예: 합, 평균, 최대값)이 노드 간의 고차수 비선형 상호작용을 모델링하지 못하는 데 기인한 표현력의 한계를 해결하기 위해.
• 지수적 복잡도 없이도 복잡한 다중선형 상호작용을 포괄하는 계산 효율적인 방법을 개발하기 위해.
• 대칭 텐서 분해 기반의 순열 불변 집계 레이어를 설계하여 기존 풀링 함수의 능력을 일반화하고 초월하기 위해.
• 다양한 실세계 데이터셋에서 노드 및 그래프 분류 작업에 대해 제안된 CP 기반 풀링 레이어의 우수성을 실증적으로 검증하기 위해.
• 텐서 분해를 통해 학습된 고차수 상호작용이 기존 GNN 아키텍처보다 더 표현력 있는 노드 및 그래프 표현을 제공함을 보여주기 위해.

제안 방법

• 논문은 노드 표현에 대해 순열 불변 다중선형 맵을 매개변수화하기 위해 대칭 CANDECOMP/PARAFAC(CP) 분해 기반의 CP-레이어를 도입한다.
• 고차수 텐서를 랭크-1 텐서의 합으로 분해하여 고차수 비선형 상호작용을 효율적으로 모델링함으로써 파라미터 효율적인 계산을 가능하게 한다.
• 이 방법은 GNN 내 표준 풀링 함수(예: 합 또는 평균 풀링)를 학습 가능한 표현력 있는 대체 수단으로 대체하는 방식으로 통합된다.
• 저차수 선형 풀링(예: 합)과 고차수 비선형 CP 풀링을 모두 조합하며, 기여도를 조절할 수 있는 학습 가능한 선형 조합을 사용한다.
• 이론적 분석을 통해 CP-레이어는 임의의 순열 불변 다중선형 다항식을 계산할 수 있으며, 합 및 평균 풀링을 포함한 모든 경우를 포함하고, 확률 1로 그것들보다 엄밀히 더 표현력이 뛰어나다는 것을 증명한다.
• 모델은 표준 GNN 백프로파게이션을 사용하여 엔드 투 엔드로 훈련되며, CP-레이어의 파라미터는 경사 하강법에 의해 갱신된다.

실험 결과

연구 질문

• RQ1 텐서 분해 기반 집계 레이어는 표준 선형 풀링 연산보다 노드 특징 간의 고차수 비선형 상호작용을 더 효과적으로 모델링할 수 있는가?
• RQ2 제안된 CP-레이어는 GNN 맥락에서 전통적인 합 및 평균 풀링 함수보다 항상 더 표현력이 뛰어난가?
• RQ3 GNN에 고차수 CP 풀링을 통합하면 노드 및 그래프 분류 벤치마크에서 성능 향상이 이루어지는가?
• RQ4 텐서 분해 랭크가 증가함에 따라 표현력과 계산 비용 간의 트레이드오프는 어떻게 변화하는가?
• RQ5 제안된 방법은 인용 네트워크와 분자 구조 그래프를 포함한 다양한 그래프 데이터셋에 일반화 가능한가?

주요 결과

• tGNN은 두 개의 OGB 노드 분류 데이터셋(ogbn-mag 및 ogbn-arxiv)과 하나의 OGB 그래프 분류 데이터셋(ogbg-molpcba)에서 최신 기준 성능을 달성하며, 경쟁적 기준 모델들을 능가한다.
• Cora 및 PubMed 인용 네트워크에서의 분석 결과, 고차수 CP 풀링만으로도 저차수 선형 풀링보다 성능 향상이 확인되었으며, 두 요소를 조합한 경우가 가장 우수한 성능을 기록했다.
• 분해 랭크가 증가함에 따라 정확도 향상 폭이 미미한 반면, 기준 모델들은 은닉 차원 증가에 따라 성능이 정체됨을 확인하여 tGNN의 뛰어난 확장성과 표현력을 입증했다.
• CPU에서의 실험 결과, 동일한 파라미터 예산과 시간 제약 조건 하에서 GCN, GAT, GCN2와 비교해도 tGNN는 경쟁 가능한 훈련 속도를 유지하면서 더 높은 정확도를 확보했다.
• 아블레이션 연구 결과, 저차수 선형 풀링과 고차수 CP 풀링을 모두 포함할 경우 각각의 구성 요소만 사용할 때보다 더 뛰어난 성능을 기록함을 확인하여 다중 척도 상호작용 모델링의 중요성을 입증했다.
• 이론적 분석을 통해 랜덤 CP-레이어로 계산 가능한 모든 함수는 합 또는 평균 풀링만으로는 재현될 수 없으며, 이는 CP-레이어의 엄밀한 표현력 우월성을 확인한다.