[논문 리뷰] Deep Convolutional Networks on Graph-Structured Data

Mikael Henaff, Joan Bruna외 1명|arXiv (Cornell University)|2015. 06. 16.

Advanced Graph Neural Networks참고 문헌 14인용 수 1,346

한 줄 요약

이 논문은 그래프 구조 데이터에 대해 컨볼루션 네트워크를 일반화하기 위해 그래프 구조와 스펙트럴 컨볼루션을 동시에 학습하는 딥러닝 프레임워크를 제안한다. 이로 인해 파라미터 수가 훨씬 적은데도 불구하고 대규모 완전 연결 네트워크 수준의 성능을 달성한다. 비지도 및 지도 학습 기반의 그래프 추정 방법을 도입하여 텍스트 분류 및 바이오인포매틱스 작업에서 최신 기술 수준의 성능을 보이며, 스펙트럴 네트워크 설정을 통해 ImageNet에서 컨볼루션 네트워크 성능을 재현한다.

ABSTRACT

Deep Learning's recent successes have mostly relied on Convolutional Networks, which exploit fundamental statistical properties of images, sounds and video data: the local stationarity and multi-scale compositional structure, that allows expressing long range interactions in terms of shorter, localized interactions. However, there exist other important examples, such as text documents or bioinformatic data, that may lack some or all of these strong statistical regularities. In this paper we consider the general question of how to construct deep architectures with small learning complexity on general non-Euclidean domains, which are typically unknown and need to be estimated from the data. In particular, we develop an extension of Spectral Networks which incorporates a Graph Estimation procedure, that we test on large-scale classification problems, matching or improving over Dropout Networks with far less parameters to estimate.

연구 동기 및 목표

• 사전에 알려진 그래프 구조가 없는 비유클리드적이고 고차원적인 그래프 구조 데이터에 대해 컨볼루션 네트워크를 일반화하는 딥러닝 아키텍처를 개발하는 것.
• 추정된 그래프 위에서 局소화되고 가중치 공유되는 필터를 학습함으로써 모델 복잡도를 줄여, 완전 연결 층의 $O(N^2)$ 파라미터 수를 피하는 것.
• 그래프 추정과 스펙트럴 컨볼루션을 조합한 것이 드롭아웃 정규화를 적용한 표준 완전 연결 네트워크를 능가하거나 동등하게 성능을 내는지 조사하는 것.
• 특히 텍스트나 바이오인포매틱스와 같은 저자료 또는 복잡한 데이터 환경에서 그래프 추정 품질이 모델 성능에 미치는 영향을 평가하는 것.
• 기본 구조가 없는 격자 구조가 없는 환경에서 그래프 기반 딥러닝 연구에 대한 기준을 설정하는 것

제안 방법

• 그래프 라플라시안을 이동 불변 연산자로 사용하여 스펙트럴 네트워크 프레임워크를 제안함으로써 컨볼루션을 그래프에 일반화한다. 이는 局소화되고 가중치 공유되는 필터를 가능하게 한다.
• 데이터에서 유사도 행렬을 추론하기 위한 비지도 및 지도 학습 기반 그래프 추정 전략을 도입하며, 지도 학습 기반 추정은 저차원 모멘트와 레이블 정보를 활용한다.
• 그래프 푸리에 변환을 사용해 스펙트럼 도메인에서 필터를 정의함으로써, 라플라시안과 가환하는 선형 변환으로서의 컨볼루션을 가능하게 한다.
• 스플라인 보간법을 사용해 주파수 도메인 필터를 학습함으로써, 각 특징 맵당 $O(1)$의 파라미터로 효율적인 파arameter화를 가능하게 한다.
• 이중 단계 학습 프로세스를 적용함: 먼저 데이터로부터 그래프 구조를 추정(비지도 또는 지도 학습), 그 다음 추정된 그래프 위에서 스펙트럴 네트워크를 학습한다.
• 지도 학습 기반 그래프 추정에서 부트스트랩 유사 메커니즘을 활용하여, 네트워크가 자가 조정되어 더 국소화되고 가중치 공유되는 성질을 갖도록 한다.

실험 결과

연구 질문

• RQ1 스펙트럴 네트워크에서 학습된 그래프 구조가 정(stationarity) 및 국소성 가정이 성립하지 않는 비유클리드 데이터(예: 텍스트, 유전자 발현 데이터)에 대해 효과적으로 일반화될 수 있는가?
• RQ2 그래프 구조와 스펙트럴 필터를 동시에 학습함으로써 완전 연결 네트워크에 비해 모델 복잡도를 줄일 수 있으며, 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 저자료 환경에서 그래프 추정 품질(비지도 대비 지도 학습)이 분류 정확도에 어떤 영향을 미치는가?
• RQ4 특히 노이즈 또는 잘못된 추정이 존재할 경우, 스펙트럴 네트워크 성능이 추정된 그래프 정확도에 얼마나 의존하는가?
• RQ5 스펙트럴 네트워크가 ImageNet과 같은 대규모 벤치마크에서 표준 딥 네트워크의 드롭아웃 정규화 성능을 따라하거나 능가할 수 있는가?

주요 결과

• ImageNet 데이터셋에서 2D 격자 구조가 알려져 있는 상황에서, 스펙트럴 네트워크는 상위-1 정확도 46.71%와 상위-5 정확도 71.998%를 기록하여 표준 컨볼루션 네트워크의 성능을 정확히 재현했다.
• 초기 학습 단계에서 표준 컨볼루션 네트워크보다 스펙트럴 네트워크가 더 빠르게 수렴했지만, 최종적으로는 유사한 성능 수준에 도달했다.
• 텍스트 분류 및 바이오인포매틱스 작업에서 제안된 방법은 드롭아웃을 적용한 대규모 완전 연결 네트워크를 동등하거나 능가했으며, 훨씬 적은 파라미터를 사용했다.
• 저차원 모멘트 기반 비지도 그래프 추정보다 지도 학습 기반 그래프 추정이 더 우수한 성능을 보였으며, 이는 레이블 정보가 그래프 구조 추론에 유용함을 시사한다.
• 모델 성능은 그래프 추정 오차에 매우 민감했으며, 사전 지식이 없는 환경에서 그래프 추정이 통계적 한계점임을 강조한다.
• 이 프레임워크는 데이터로부터 그래프 구조를 학습함으로써 고차원적이고 비구조적인 데이터에서도 저복잡도, 국소화, 가중치 공유 표현을 가능하게 함을 입증했다.