[논문 리뷰] Dissecting the Diffusion Process in Linear Graph Convolutional Networks

Yifei Wang, Yisen Wang외 2명|arXiv (Cornell University)|2021. 02. 22.

Advanced Graph Neural Networks참고 문헌 33인용 수 17

한 줄 요약

이 논문은 종단 시간 $T$ 와 전파 단계 수 $K$ 를 분리하여, 연속적인 그래프 확산을 보다 정밀하게 근사할 수 있도록 하는 선형 그래프 컨볼루션 네트워크인 Decoupled Graph Convolution (DGC) 을 제안한다. $T$ 를 고정하고 $K$ 를 증가시킴으로써 DGC 는 과도한 스무딩을 방지하고 선형 GCN 중 최고 성능을 달성하며, SGC 를 능가하고 비선형 GCN 과도 경쟁 가능하면서도 계산 효율성이 높다.

ABSTRACT

Graph Convolutional Networks (GCNs) have attracted more and more attentions in recent years. A typical GCN layer consists of a linear feature propagation step and a nonlinear transformation step. Recent works show that a linear GCN can achieve comparable performance to the original non-linear GCN while being much more computationally efficient. In this paper, we dissect the feature propagation steps of linear GCNs from a perspective of continuous graph diffusion, and analyze why linear GCNs fail to benefit from more propagation steps. Following that, we propose Decoupled Graph Convolution (DGC) that decouples the terminal time and the feature propagation steps, making it more flexible and capable of exploiting a very large number of feature propagation steps. Experiments demonstrate that our proposed DGC improves linear GCNs by a large margin and makes them competitive with many modern variants of non-linear GCNs.

연구 동기 및 목표

• 선형 GCN 이나 SGC 와 같이 계산 효율성은 높지만 더 많은 전파 단계를 통해도 성능 향상을 얻지 못하는 이유를 탐구하는 것.
• SGC 의 성능 저하 원인이 고정된,粗모양의 유한 차분 단계 크기 $\Delta t = 1$ 로 인해 발생하는 큰 수치 오차와 과도한 스무딩 때문임을 규명하는 것.
• 종단 시간 $T$ 와 전파 단계 수 $K$ 를 분리하여 확산 과정에 대해 민감한 제어를 가능하게 하는 방법을 제안하는 것.
• 적절히 설계된 선형 GCN 이 현대적인 비선형 GCN 변종의 성능을 따라하거나 초월할 수 있음을 보여주는 것.
• 미래의 GCN 연구를 위한 강력하고 효율적이며 이론적으로 탄탄한 기준점으로 DGC 를 확립하는 것.

제안 방법

• DGC 는 종단 시간 $T$ 와 전파 단계 수 $K$ 를 분리하여, 최적의 스무딩 균형을 확보하기 위해 $T$ 를 연속적으로 선택할 수 있도록 한다.
• 이 방법은 연속 시간 확산 프레임워크를 사용하며, 그래프 컨볼루션을 확산 PDE 의 해로 모델링하고, $T$ 는 총 확산 시간을 나타낸다.
• 특징 전파를 고도로 세밀한 유한 차분 방법으로 근사하며, $K$ 를 증가시킴으로써 SGC 가 사용하는 고정된 $\Delta t = 1$ 과 비교해 수치 오차를 감소시킨다.
• DGC 는 수치 적분에 오일러 방법을 사용하며, 이는 충분하고 효율적이며 실제로 룬게쿠타와 같은 고차수 방법보다도 성능이 뛰어나다.
• 두 가지 라플라시안 표현 방식을 평가하였으며, $\mathbf{L} = \mathbf{I} - \mathbf{S}$ (자기 순환 포함) 와 $\mathbf{L}_{\rm sym} = \mathbf{I} - \mathbf{S}_{\rm sym}$ (대칭형) 이며, 후자가 더 뛰어난 성능을 보였다.
• 최적의 종단 시간 $T^*$ 는 데이터셋에 따라 다르며, 내재적인 특성임을 확인하였으며, Pubmed 에서는 $T^* = 6.0$, Reddit 에서는 $T^* = 2.7$ 이었다.

실험 결과

연구 질문

• RQ1 선형 GCN 이나 SGC 는 단순성과 효율성은 높지만 더 많은 전파 단계를 거치면 성능이 떨어지는 이유는 무엇인가?
• RQ2 SGC 의 유한 차분 근사에서 고정된 단계 크기 $\Delta t = 1$ 이 확산 과정의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 종단 시간 $T$ 와 단계 수 $K$ 를 분리함으로써 연속적인 그래프 확산을 보다 나은 근사로 이끌 수 있고, 과도한 스무딩을 완화할 수 있는가?
• RQ4 실제 그래프 데이터셋에 대한 최적의 종단 시간 $T^*$ 는 무엇이며, 다양한 라플라시안 표현 방식 간 일관성이 있는가?
• RQ5 적절히 설계된 선형 GCN 이 정확도와 효율성 측면에서 현대적인 비선형 GCN 변종을 능가할 수 있는가?

주요 결과

• DGC 는 SGC 를 크게 뛰어넘어 Pubmed 에서는 80.3% 의 테스트 정확도, Reddit 에서는 95.8% 를 달성하며 SGC 를 능가하고 많은 비선형 GCN 변종과 동등하거나 초월하는 성능을 보였다.
• 최적의 종단 시간 $T^*$ 는 Pubmed 에서는 6.0, Reddit 에서는 2.7 로, $T^*$ 가 데이터셋의 내재적 특성임을 시사한다.
• 자기 순환을 포함한 확장 라플라시안 $\mathbf{L} = \mathbf{I} - \mathbf{S}$ 는 $\mathbf{L}_{\rm sym}$ 과 비교해 더 높은 정확도를 보이며 수렴에 더 적은 단계가 필요하다.
• 종단 시간 $T$ 를 고정하고 $K$ 를 증가시키면 성능 향상이 이루어지며 과도한 스무딩이 발생하지 않아, DGC 가 SGC 의 근본적인 결함을 피함을 입증한다.
• DGC 는 Pubmed 에서 $K=100$ 일 때 총 학습 시간이 225.0 ms 로 SGC 의 65.3 ms 보다 더 길지만, 정확도는 크게 향상되었으며 비선형 GCN 보다 100배 이상 빠르게 유지된다.
• 오일러 방법은 DGC 에서 충분하며, 룬게쿠타와 같은 고차수 방법은 $K$ 가 증가함에 따라 수익 감소를 보이며, 제안된 접근의 효율성을 확인한다.