[논문 리뷰] On Filter Size in Graph Convolutional Networks

Tran Van Dinh, Nicolò Navarin외 1명|arXiv (Cornell University)|2018. 11. 23.

Advanced Graph Neural Networks참고 문헌 19인용 수 9

한 줄 요약

이 논문은 수렴 영역 크기(이웃 거리 r)를 학습 가능한 초매개변수로 도입하는 일반화된 그래프 컨볼루션 필터를 제안하여, 직접적인 이웃을 초월한 더 풍부한 국소 그래프 구조를 포착할 수 있도록 한다. 실험 결과, PGC-DGCNN는 여러 벤치마크 데이터셋에서 DGCNN과 최신 그래프 커널보다 예측 성능을 크게 향상시키며, 일관된 1–3%의 향상과 PROTEINS에서 최대 17% 향상을 기록한다.

ABSTRACT

Recently, many researchers have been focusing on the definition of neural networks for graphs. The basic component for many of these approaches remains the graph convolution idea proposed almost a decade ago. In this paper, we extend this basic component, following an intuition derived from the well-known convolutional filters over multi-dimensional tensors. In particular, we derive a simple, efficient and effective way to introduce a hyper-parameter on graph convolutions that influences the filter size, i.e. its receptive field over the considered graph. We show with experimental results on real-world graph datasets that the proposed graph convolutional filter improves the predictive performance of Deep Graph Convolutional Networks.

연구 동기 및 목표

• 기존 그래프 컨볼루션 네트워크에서 고정된 얕은 수렴 영역의 한계를 해결하기 위해, 일반적으로 직접 이웃(즉, r=1)만 고려하는 방식을 개선한다.
• 특징 집계를 위한 이웃 거리 r를 제어할 수 있는 조정 가능한 초매개변수 r를 도입하여 표준 그래프 컨볼루션 연산자를 일반화한다.
• 더 정보가 풍부한 국소 그래프 구조를 포착할 수 있도록 모델을 설계하여 그래프 분류 작업의 예측 성능을 향상시킨다.
• 탄력적인 수렴 영역 크기가 다양한 실세계 그래프 데이터셋에서 더 나은 일반화 및 강인성을 이끌어낼 수 있음을 입증한다.

제안 방법

• 수렴 영역을 직접 이웃을 초월해 최단경로 거리 r 이내의 노드까지 포함하도록 확장할 수 있도록 허용하는 파arametric 그래프 컨볼루션 필터를 제안한다.
• 학습 가능한 집계 함수를 사용하여 각 노드 주변 반경 r 이내의 모든 노드로부터 특징을 집계함으로써 은닉 표현을 계산한다.
• r=1은 원래 DGCNN에 해당하고, r>1일 경우 더 풍부한 국소 구조 포착이 가능한 DGCNN 아키텍처의 일반화로 공식적으로 정의된다.
• 초기 실험에서는 고정된 r=2를 사용하지만, 최적 성능를 위해 r의 범위를 조정할 수 있는 프레임워크를 제공한다.
• 1D 컨볼루션과 ReLU/LeakyReLU 활성화 함수를 포함한 DGCNN와 동일한 전체 설계를 유지하지만, 고정된 이웃 집계를 파arametric r 기반 필터로 대체한다.
• 모든 GCN 기반 모델과 호환되며, 점차 증가하는 수렴 영역을 가진 다중 레이어를 스택하는 데 적용 가능하다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션에서 수렴 영역 크기(r)를 다양하게 조절할 경우, 그래프 분류 작업 성능에 어떤 영향을 미치는가?
• RQ2 조정 가능한 r 초매개변수를 가진 일반화된 그래프 컨볼루션은 직접 이웃만 고려하는 표준 GCN(r=1)보다 성능이 뛰어나게 될 수 있는가?
• RQ3 제안된 파arametric 필터는 최신 그래프 커널 및 딥러닝 기반 베이스라인에 비해 일반화 및 예측 정확도를 향상시키는가?
• RQ4 r의 크기가 다양한 실세계 데이터셋에서 의미 있는 국소 그래프 구조를 포착하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ5 r 조정과 레이어 수를 늘림으로써 제안된 방법이 깊이 있는 아키텍처로 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 PGC-DGCNN 방법은 여덟 개의 그래프 분류 벤치마크 중 여섯 개에서 DGCNN을 능가하며, 일관된 1%에서 2%의 향상률을 기록한다.
• MUTAG 및 PROTEINS 데이터셋에서 각각 최고 성능을 보인 그래프 커널(RW 커널)에 비해 8%와 17%의 상대적 향상률을 기록한다.
• NCI1 데이터셋에서는 DGCNN과 PGC-DGCNN가 DCNN에 비해 약간 낮은 성능를 보였지만, 후자는 여전히 기준 딥러닝 모델 대비 14–21%의 뚜렷한 향상률을 기록한다.
• PGC-DGCNN와 DGCNN 간의 성능 격차는 PGC-DGCNN가 r=2로 더 풍부한 국소 구조를 포착할 수 있다는 점에서 기인한다.
• 현재 평가에서는 고정된 r=2를 사용하고 있으나, r의 값을 다양한 값으로 조정할 경우 성능 향상이 더욱 향상될 수 있음을 시사한다.
• 저자들은 제안된 필터가 DGCNN을 일반화하며 GCN에서 수렴 영역 크기를 제어하는 탄력적이고 효과적인 방법을 제공한다고 결론 내린다.