[논문 리뷰] PairNorm: Tackling Oversmoothing in GNNs

Lingxiao Zhao, Leman Akoglu|arXiv (Cornell University)|2019. 09. 26.

Advanced Graph Neural Networks참고 문헌 19인용 수 158

한 줄 요약

PairNorm은 빠르고 매개변수 없는 정규화 레이어를 도입하여 심층 GNN에서 과도한 매끄러짐을 방지하고 성능 손실 없이 더 깊은 모델(GCN, GAT, SGC)을 가능하게 하며 누락 특징(missing-feature) 설정에서 이점을 보여준다.

ABSTRACT

The performance of graph neural nets (GNNs) is known to gradually decrease with increasing number of layers. This decay is partly attributed to oversmoothing, where repeated graph convolutions eventually make node embeddings indistinguishable. We take a closer look at two different interpretations, aiming to quantify oversmoothing. Our main contribution is PairNorm, a novel normalization layer that is based on a careful analysis of the graph convolution operator, which prevents all node embeddings from becoming too similar. What is more, PairNorm is fast, easy to implement without any change to network architecture nor any additional parameters, and is broadly applicable to any GNN. Experiments on real-world graphs demonstrate that PairNorm makes deeper GCN, GAT, and SGC models more robust against oversmoothing, and significantly boosts performance for a new problem setting that benefits from deeper GNNs. Code is available at https://github.com/LingxiaoShawn/PairNorm.

연구 동기 및 목표

• 깊은 GNN에서의 oversmoothing 현상을 조사하고 노드 표현에 미치는 영향을 정량화한다.
• 너무 서로 비슷해지는 멀리 떨어진 노드 임베딩을 방지하는 보편적 정규화 레이어를 제안한다.
• GNN 레이어 사이에 삽입될 수 있는 간단하고 아키텍처에 구애받지 않는 매개변수 없는 방법을 개발한다.
• 실제 그래프와 누락 특징 시나리오(S S N C- MV)에서 PairNorm의 효과를 입증한다.

제안 방법

• 그래프 컨볼루션을 라플라시안 스무딩의 형태로 분석하고 이를 그래프 규제 최소제곱(GRLS) 관점과 연관시킨다.
• PairNorm을 레이어 간에 일정한 총 쌍간 제곱거리(TPSD)를 보존하는 두 단계 중심화 및 스케일링 정규화로 정의한다(StageTPSD를 상수로 유지).
• 평균 표현을 빼서 중심화를 수행한 다음, TPSD가 일정하게 유지되도록 스케일링한다(하이퍼파라미터 s로 제어).
• 각 노드당 고정된 L2 노름을 강제하는 선택적 PairNorm-si 변형을 제공한다.
• 마지막 층을 제외한 각 그래프 컨볼루션 층 뒤에 PairNorm을 적용하고 SGC, GCN, GAT에서 평가한다; 잔차 연결과 비교한다.
• 깊은 GNN이 유리해지는 실제 시나리오(SSNC-MV)에서 PairNorm이 이점을 보이는 사례를 논의한다.

실험 결과

연구 질문

• RQ1 레이어가 증가함에 따라 oversmoothing이 표현을 구별 불가능하게 만드는 원인은 무엇인가?
• RQ2 간단한 레이어-와이즈(normalization) 정규화가 네트워크 아키텍처를 바꾸지 않으면서 교차 클러스터 특징 혼합을 방지할 수 있는가?
• RQ3 PairNorm이 SGC, GCN, GAT의 더 깊은 버전이 정확도를 유지하거나 향상시키는가?
• RQ4 데이터셋 전반에서 누락 특징(SSNC-MV)을 가진 반지도학습 노드 분류에서 PairNorm의 성능은 어떤가?
• RQ5 어떤 설정에서 PairNorm이 적용된 더 깊은 GNN이 가장 큰 이점을 제공하는가(예: 누락 특징 시나리오)?

주요 결과

• PairNorm은 깊은 GCN, GAT, SGC 모델을 oversmoothing에 더 강하게 만들어 층이 증가함에 따라 성능 저하를 느리게 한다.
• 누락 특징 설정에서 PairNorm은 더 깊은 모델이 성능을 회복하고 기본 벤치마크를 능가하게 하며, 특히 더 높은 누락 비율에서 두드러진다.
• PairNorm은 빠르고 구현이 간단하며 추가 매개변수를 도입하지 않고 층 사이의 일반 정규화 레이어로 작동한다.
• PairNorm-si는 일반적으로 GCN과 GAT에 대해 안정적인 개선을 제공하는 반면, 표준 PairNorm은 SGC에 잘 작동한다.
• 일반 벤치마크 데이터셋에서 매우 깊은 네트워크의 절대 이득은 제한적이지만, PairNorm은 누락 특징이 있는 현실적 시나리오에서 더 깊은 네트워크를 유리하게 만든다.
• 본 연구는 또한 SSNC-MV를 탐구하여, 특징 부재 하에서 PairNorm이 적용된 더 깊은 아키텍처가 더 얕은 바닐라 모델보다 성능이 우수함을 보인다.