[논문 리뷰] Classifying Signals on Irregular Domains via Convolutional Cluster Pooling

Angelo Porrello, Davide Abati외 2명|arXiv (Cornell University)|2019. 02. 13.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 비정규적인 그래프에서 노드를 계층적으로 클러스터링하여 가중치 공유와 국소적 특징 집약을 가능하게 하는 새로운 그래프 신경망 레이어인 컨볼루션 클러스터 풀링(CCP)을 제안한다. 소프트 클러스터링과 클러스터 내 중심성 기반 순위 매기기를 활용함으로써 CCP는 다중 척도의 국소적 및 전반적 패턴을 포착하며, NTU RGB+D(80.1% 정확도), CIFAR-10(84.4%), 20NEWS에서 최신 기술을 능가하는 일관된 성능 향상을 보였다.

ABSTRACT

We present a novel and hierarchical approach for supervised classification of signals spanning over a fixed graph, reflecting shared properties of the dataset. To this end, we introduce a Convolutional Cluster Pooling layer exploiting a multi-scale clustering in order to highlight, at different resolutions, locally connected regions on the input graph. Our proposal generalises well-established neural models such as Convolutional Neural Networks (CNNs) on irregular and complex domains, by means of the exploitation of the weight sharing property in a graph-oriented architecture. In this work, such property is based on the centrality of each vertex within its soft-assigned cluster. Extensive experiments on NTU RGB+D, CIFAR-10 and 20NEWS demonstrate the effectiveness of the proposed technique in capturing both local and global patterns in graph-structured data out of different domains.

연구 동기 및 목표

• 정규적인 구조가 없는 비유클리드 그래프 도메인에서 표준 CNN이 정규적인 구조가 부족하여 실패하는 문제를 다루기 위해.
• 국소적 연결성과 계층적 클러스터링을 활용하여 CNN의 가중치 공유를 그래프 구조 데이터로 일반화하기 위해.
• 클러스터 중심의 특징 집약을 통해 이동 불변성과 국소적 불변성을 유지하는 공간 기반 그래프 컨볼루션 레이어를 개발하기 위해.
• 각 레이어에서 소프트 클러스터링을 통해 그래프를 군집화함으로써 다중 척도 표현 학습을 효과적으로 가능하게 하기 위해.
• 작업에 특화된 클러스터링과 클러스터 내 순위 매기기가 무작위 또는 고정된 풀링 전략에 비해 일반화 능력과 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• 입력 그래프에 대해 소프트 클러스터링을 수행하여 더 희소하고 계층적인 그래프 표현을 형성하는 컨볼루션 클러스터 풀링(CCP) 레이어를 도입한다.
• 각 노드가 다수의 클러스터에 소프트로 할당되며, 클러스터 소속도는 학습 중에 학습 가능한 방식으로 학습된다.
• 각 클러스터에 대해 중심성(예: 차수 또는 고유벡터 중심성) 기반으로 고정된 수의 후보 노드를 선정하고, 이를 정렬하여 일관된 수신 영역을 정의한다.
• 고정 커널을 사용하여 각 클러스터 내에서 공간 컨볼루션 연산을 적용함으로써 유사한 국소적 구조 간의 가중치 공유를 가능하게 한다.
• 다중 척도 아키텍처를 구현하기 위해 여러 CCP 레이어를 스택하여 점차 그래프를 군집화하고 전반적 맥락을 포착한다.
• 재구성 손실(L0)과 클러스터 일관성 손실(LK)을 조합한 공동 손실을 최적화하며, 클러스터 소속도를 통해 역전파가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 계층적 클러스터링 메커니즘이 비정규 도메인의 그래프 컨볼루션 네트워크에서 효과적인 가중치 공유를 가능하게 할 수 있는가?
• RQ2 클러스터 내 중심성 기반 노드 순위 매기기가 랜덤 또는 고정 순서에 비해 특징 집약과 모델 일반화에 어떻게 기여하는가?
• RQ3 학습 중에 클러스터 할당을 엔드 투 엔드로 학습하는 것이 Graclus와 같은 고정된 군집화 전략에 비해 성능 향상에 기여하는가?
• RQ4 제안된 손실 함수(L0 + LK)가 밀집하고 의미 있는 클러스터를 촉진하고 안정적인 학습을 유도하는 데 어느 정도 기여하는가?
• RQ5 다양한 그래프 구조 데이터셋에서 주어진 방법이 어텐션 기반 또는 스펙트럼 기반 GCN 방법에 비해 정확성과 내성 면에서 어떻게 우월한가?

주요 결과

• 제안된 CCP 모델은 CIFAR-10에서 84.4%의 정확도를 달성하여, 이전 최고 성능인 78.15%를 기록한 ChebNet에 비해 뚜렷한 성능 향상을 보였다.
• Cross-Subject NTU RGB+D 데이터셋에서 CCP는 80.1%의 정확도를 기록하여, 이전 최신 기술인 74.85%를 기록한 ChebNet에 비해 뛰어난 성능을 보였다.
• 제거 실험 결과, 클러스터링 손실(L0)의 기울기를 제거하면 CIFAR-10에서 정확도가 66.7%로 떨어지며, 엔드 투 엔드 클러스터 최적화의 중요성을 확인하였다.
• 클러스터 내 중심성 기반 순위 매기기의 사용은 랜덤 노드 순서 변경 대비 테스트 정확도를 84.4%까지 향상시켰으며, 이는 구조화된 수신 영역의 효과성을 입증한다.
• 손실 경로 분석 결과, L0 최소화가 LK 감소를 유도함을 확인하여, 모델이 더 나은 표현을 학습함에 따라 클러스터의 밀집도가 향상됨을 나타낸다.
• 그래프 레이아웃의 변동에도 불구하고 일관된 성능을 보이며, 고정된 구조의 그래프에서 어텐션 기반 모델(GAT)이 실패하는 상황에서도 모델의 내성은 유지됨을 보였다.