[논문 리뷰] Maximum Entropy Weighted Independent Set Pooling for Graph Neural Networks

Amirhossein Nouranizadeh, Mohammadjavad Matinkia외 2명|ArXiv.org|2021. 07. 03.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

이 논문은 샤논 용량과 인포맥스 원리를 사용하여 그래프 풀링을 최대 엔트로피 가중 독립 집합(MEWIS)을 찾는 문제로 재정의함으로써 정보 전달을 최대화하는 새로운 그래프 신경망 풀링 레이어인 MEWISPool을 제안한다. 이는 고정된 풀링 비율 없이 구조에 적응하는 미분 가능한 접근 방식을 통해 그래프 분류 및 최대 독립 집합 벤치마크 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel pooling layer for graph neural networks based on maximizing the mutual information between the pooled graph and the input graph. Since the maximum mutual information is difficult to compute, we employ the Shannon capacity of a graph as an inductive bias to our pooling method. More precisely, we show that the input graph to the pooling layer can be viewed as a representation of a noisy communication channel. For such a channel, sending the symbols belonging to an independent set of the graph yields a reliable and error-free transmission of information. We show that reaching the maximum mutual information is equivalent to finding a maximum weight independent set of the graph where the weights convey entropy contents. Through this communication theoretic standpoint, we provide a distinct perspective for posing the problem of graph pooling as maximizing the information transmission rate across a noisy communication channel, implemented by a graph neural network. We evaluate our method, referred to as Maximum Entropy Weighted Independent Set Pooling (MEWISPool), on graph classification tasks and the combinatorial optimization problem of the maximum independent set. Empirical results demonstrate that our method achieves the state-of-the-art and competitive results on graph classification tasks and the maximum independent set problem in several benchmark datasets.

연구 동기 및 목표

• 구조에 적응하는 풀링 메커니즘을 개발하여 계층적이고 정보적인 표현을 유지한다.
• 풀링 과정에서 비정규 구조의 그래프가 효과적인 전역 특징 집합을 방해하는 문제를 해결한다.
• 통신 이론 개념을 활용하여 입력 그래프와 풀링된 그래프 간 상호정보량을 최대화하는 방식으로 그래프 풀링을 재정의한다.
• 고정된 풀링 비율이 필요 없는, 엔드 투 엔드로 훈련 가능한, 유연한 풀링 레이어를 제공한다.

제안 방법

• 방법론은 입력 그래프를 노이즈가 있는 통신 채널을 나타내는 혼동 가능성 그래프로 모델링하며, 노드는 기호이고 간선은 잠재적 혼동을 나타낸다.
• 그래프의 샤논 용량을 인덕티브 바이어스로 활용하여 최대 상호정보량을 찾는 것과 최대 무게 독립 집합(MWIS)을 찾는 것을 동치로 간주한다. 이때 엔트로피 기반의 노드 가중치를 사용한다.
• 노드 가중치는 특징 차이의 L2 노름을 사용하여 국소 신호 변동성에서 유도되며, 엔트로피 내용을 코딩한다.
• 신경 추정기(estimator)가 각 노드의 포함 확률을 유연하게 할당하여 역전파가 가능하게 한다.
• 조건부 기대값 기반의 비결정성 알고리즘을 적용하여 학습된 분포에서 부분적으로 최적화된 결정론적 해를 추출한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 고정된 풀링 비율이 필요 없어 그래프 구조에 따라 유연하게 노드 선택이 가능하다.

실험 결과

연구 질문

• RQ1 정보 이론과 통신 채널의 관점에서 그래프 풀링을 재해석함으로써 표현 학습 성능를 향상시킬 수 있는가?
• RQ2 입력 그래프와 풀링된 그래프 간 최대 상호정보량을 유연하고 확장 가능한 방식으로 미분 가능하게 근사화할 수 있는가?
• RQ3 엔트로피 기반 가중치를 갖는 최대 무게 독립 집합 문제는 최적의 정보 유지 풀링을 위한 효과적인 대체 측정 기준이 될 수 있는가?
• RQ4 그래프 분류 및 조합 최적화 과제에서 기존 풀링 기법과 비교해 본다면, 제안된 방법은 성능 및 적응성 측면에서 어떤가?
• RQ5 실제 세계의 그래프 데이터셋에서 제안된 방법의 계산 복잡도와 확장성은 어떠한가?

주요 결과

• MEWISPool은 Cora, Citeseer, PubMed 그래프 분류 벤치마크에서 최신 기술 수준의 성능를 기록했으며, GCN-GTS와 S2V-DQN을 모두 능가한다.
• 최대 독립 집합 문제에서 MEWISPool은 Cora에서 1433개(비교 기준: GCN-GTS의 1451개), Citeseer에서 1852개(비교 기준: 1867개), PubMed에서 15,862개(비교 기준: 15,912개)의 해를 찾았으며, 경쟁 가능한 성능를 보였다.
• 희소 그래프에서 계산 복잡도가 약 O(|V|³)로, 단일 GCN 레이어와 유사하여 높은 효율성을 보였다.
• 모델은 적응형이며 고정된 풀링 비율이 필요 없어, 구조적 및 정보 이론적 기준에 따라 동적으로 노드 선택이 가능했다.
• Cora 데이터셋의 학습 곡선을 통해 훈련 손실과 학습된 MIS 크기가 안정적으로 수렴하는 것을 확인했으며, 효과적인 최적화가 이루어졌음을 시사했다.
• 엔트로피 기반 가중치와 비결정성 알고리즘의 조합은 결정론적 고품질 해를 보장하면서도 엔드 투 엔드 훈련을 위한 유연성과 유연성을 유지했다.