[논문 리뷰] Understanding the Basis of Graph Convolutional Neural Networks via an Intuitive Matched Filtering Approach

Ljubiša Stanković, Danilo P. Mandic|arXiv (Cornell University)|2021. 08. 23.

Advanced Graph Neural Networks참고 문헌 20인용 수 4

한 줄 요약

이 논문은 그래프 컨볼루션 신경망(GCNNs)을 매칭 필터링의 관점에서 재해석하여, GCNN 컨볼루션 레이어가 입력을 학습된 템플릿과 상관시킴으로써 그래프 구조 데이터의 특징을 탐지함을 보여준다. 이는 매칭 필터와 유사하다. 이 접근법은 ReLU 및 최대 풀링과 같은 GCNN 연산을 이 프레임워크 내에서 통합하며, 표준 CNN과 완전 연결 네트워크가 특수 케이스임을 보이며, 신호 전파와 학습 과정을 단계별로 보여주는 수치 예제를 제시한다.

ABSTRACT

Graph Convolutional Neural Networks (GCNN) are becoming a preferred model for data processing on irregular domains, yet their analysis and principles of operation are rarely examined due to the black box nature of NNs. To this end, we revisit the operation of GCNNs and show that their convolution layers effectively perform matched filtering of input data with the chosen patterns (features). This allows us to provide a unifying account of GCNNs through a matched filter perspective, whereby the nonlinear ReLU and max-pooling layers are also discussed within the matched filtering framework. This is followed by a step-by-step guide on information propagation and learning in GCNNs. It is also shown that standard CNNs and fully connected NNs can be obtained as a special case of GCNNs. A carefully chosen numerical example guides the reader through the various steps of GCNN operation and learning both visually and numerically.

연구 동기 및 목표

• GCNN의 내부 작동 원리를 밝혀내어, 비정규 영역 데이터 처리에 점점 더 널리 사용되고 있음에도 불구하고 종종 흑박상자로 간주되는 문제를 해결하기 위함.
• GCNN의 컨볼루션 연산을 신호 처리 분야에서 잘 알려진 매칭 필터 이론과 연결함으로써 GCNN에 대한 이론적 기반을 마련하기 위함.
• 매칭 필터링 프레임워크 내에서 ReLU 활성화 및 최대 풀링과 같은 GCNN 구성 요소들을 통합적으로 이해하기 위함.
• 특정 그래프 구조 하에서 표준 CNN과 완전 연결 네트워크가 GCNN의 특수 케이스임을 보여주기 위함.
• 시각적이고 수치적으로 GCNN 작동 방식과 정보 전파 과정을 단계별로 명확히 보여주는 교육적 수치 예제 제공하기 위함.

제안 방법

• 컨볼루션 연산이 시간 반전 커널과 함께 수행될 때 교차상관(cross-correlation)과 동일함을 보여줌으로써 GCNN 컨볼루션을 매칭 필터링으로 재해석한다.
• 매칭 필터 출력 공식 $ y(n) = x(n) * w(-n) $ 를 사용하여 그래프 신호에서의 특징 탐지 수식화를 수행하며, 여기서 $ w(n) $ 는 특징 템플릿이다.
• 매칭 필터 프레임워크를 적용하여 비선형 ReLU 및 최대 풀링 연산을 특징 탐지 및 선택 과정의 일부로 설명한다.
• 비선형 및 풀링 연산을 거친 후 남는 신호 성분을 추적하기 위해 지표 행렬 $ \mathbf{P} $ 와 $ \mathbf{M}^{ReLU+MP} $ 를 도입하여 기울기 역전파 추적 가능하게 한다.
• 그래프 굴곡화와 의사역행렬 $ \mathbf{P}^+ $ 를 통한 업샘플링을 활용하여 다중 척도에서의 계층적 특징 학습을 모델링하며, $ \mathbf{W}_c = \mathbf{P} \mathbf{W} \mathbf{P}^T $ 와 $ \mathbf{W}_L = \mathbf{P}^+ \mathbf{W}_c (\mathbf{P}^+)^T $ 를 사용한다.
• 표준 CNN과 완전 연결 네트워크가 각각 그래프가 완전히 연결되어 있거나 특정 구조를 가질 경우 GCNN의 특수 케이스로 나타남을 보여준다.

실험 결과

연구 질문

• RQ1 GCNN의 작동 방식을 신호 처리 분야에서 잘 알려진 매칭 필터링 원리로 어떻게 해석할 수 있는가?
• RQ2 GCNN 내의 비선형 활성화(ReLU) 및 풀링(최대 풀링) 레이어가 매칭 필터링 과정의 일부로 얼마나 잘 설명될 수 있는가?
• RQ3 특정 그래프 구조 하에서 표준 컨볼루션 및 완전 연결 신경망이 GCNN의 특수 케이스로 유도될 수 있는가?
• RQ4 정보는 GCNN 내에서 어떻게 전파되며, 지표 행렬을 통해 어떻게 시각화하고 추적할 수 있는가?
• RQ5 매칭 필터링 프레임워크 내에서 그래프 굴곡화와 업샘플링의 역할은 무엇인가?

주요 결과

• GCNN 컨볼루션 레이어는 입력 신호를 학습된 특징 템플릿과 상관시킴으로써 매칭 필터링을 수행하며, 커널은 최적 탐지를 위한 시간 반전 템플릿으로 기능한다.
• ReLU 및 최대 풀링 연산은 매칭 필터링 프레임워크 내에서 가장 관련성이 높은 특징 반응만 유지하는 메커니즘으로 자연스럽게 설명된다.
• 지표 행렬 $ \mathbf{M}^{ReLU+MP} $ 는 비선형 및 풀링 연산을 통과한 후 남는 신호 성분을 성공적으로 식별하여 정확한 기울기 역전파를 가능하게 한다.
• 그래프 굴곡화와 $ \mathbf{P}^+ $ 를 통한 업샘플링은 계층적 특징 학습을 가능하게 하며, 가중치 행렬 변환 $ \mathbf{W}_c = \mathbf{P} \mathbf{W} \mathbf{P}^T $ 는 다양한 척도 간의 구조적 관계를 유지한다.
• 표준 CNN과 완전 연결 네트워크는 기저 그래프가 완전히 연결되어 있거나 특정 노드 배열을 가질 경우 GCNN의 특수 케이스로 나타남이 입증되었다.
• 논문의 수치 예제는 GCNN이 불규칙한 그래프에서 매칭 필터링 원리를 사용해 局부적 특징을 탐지함을 보이며, 신호 전파 및 학습 과정을 명확히 시각적·수치적으로 추적할 수 있다.