[논문 리뷰] Convolutional neural networks on irregular domains based on approximate vertex-domain translations

Bastien Pasdeloup, Vincent Gripon외 3명|arXiv (Cornell University)|2017. 10. 27.

Advanced Graph Neural Networks참고 문헌 13인용 수 5

한 줄 요약

이 논문은 스펙트럴 방법이나 히وري스틱 기반 접근법에 의존하지 않고, 그래프 상에서 근사적인 정점 도메인 번역을 정의하여 컨volutional 신경망(CNNs)을 비정규 도메인으로 일반화하는 새로운 방법을 제안한다. 이는 진정한 가중치 공유와 번역 동치성(translation equivariance)을 가능하게 하며, fMRI 데이터에서 경쟁력 있는 성능을 달성한다. 이는 MLP보다 뛰어나고, ChebNet와 유사한 성능을 보이며, 기존의 격자형 데이터에 대한 고전적 CNN의 인덕티브 바이어스를 유지한다.

ABSTRACT

We propose a generalization of convolutional neural networks (CNNs) to irregular domains, through the use of a translation operator on a graph structure. In regular settings such as images, convolutional layers are designed by translating a convolutional kernel over all pixels, thus enforcing translation equivariance. In the case of general graphs however, translation is not a well-defined operation, which makes shifting a convolutional kernel not straightforward. In this article, we introduce a methodology to allow the design of convolutional layers that are adapted to signals evolving on irregular topologies, even in the absence of a natural translation. Using the designed layers, we build a CNN that we train using the initial set of signals. Contrary to other approaches that aim at extending CNNs to irregular domains, we incorporate the classical settings of CNNs for 2D signals as a particular case of our approach. Designing convolutional layers in the vertex domain directly implies weight sharing, which in other approaches is generally estimated a posteriori using heuristics.

연구 동기 및 목표

• 기존 유클리드 공간에서의 번역이 정의되지 않는 뇌 fMRI 신호와 같은 비정규 도메인으로 CNN을 일반화하기 위해.
• 그래프 상에서 잘 정의된 번역 연산자가 부재하여 고전적 CNN 설계 원칙을 직접 적용하는 데 어려움이 있음을 해결하기 위해.
• 스펙트럴 접근법에서 사용하는 히وري스틱한 가중치 재할당을 피하고, 단일 커널을 정점 간에 명시적인 번역을 통해 가중치 공유를 강제화하는 방법을 개발하기 위해.
• 격자형 데이터에 적용했을 때 표준 2D CNN이 제안된 프레임워크의 특수 케이스로 복원됨을 보장하여, 고전적 CNN의 인덕티브 바이어스를 유지하기 위해.
• 공간적 구조와 국소 패턴이 중요한 실제 비정규 데이터(예: 기능적 뇌 네트워크)에서의 성능을 입증하기 위해.

제안 방법

• 그래프 상에서 정점 도메인 번역을 근사적으로 정의하기 위해, 다양한 정점에서 컨볼루션 커널의 형태를 유지하는 단사적 사상(injective mapping)을 식별한다.
• 단일 학습된 커널을 모든 정점으로 체계적으로 이동시키는 번역 연산자를 사용하여, 컨볼루션 레이어의 커널 가중치를 간선과 직접 연결한다.
• 컨볼루션 레이어는 커널을 각 정점로 이동시키고, 인접 노드에 대해 국소加权 합을 계산함으로써 표준 CNN 연산을 모방한다.
• 스펙트럴 분해나 커널 재추정을 피하고, 그래프 상의 구조적 번역을 통해 동치성(equivariance)을 강제한다.
• 기초가 되는 그래프가 규칙적인 격자일 경우, 표준 2D CNN이 자연스럽게 특수 케이스로 포함된다.
• 번역 메커니즘을 통해 모든 가중치가 정점 위치 간에 공유되며, 표준 backpropagation를 사용한 엔드 투 엔드 학습이 가능해진다.

실험 결과

연구 질문

• RQ1 비정규 그래프 상에서 잘 정의된 번역 연산자를 구성하여, 이미지에서의 유클리드 번역과 유사하게 그래프 CNN에서 진정한 가중치 공유를 가능하게 할 수 있는가?
• RQ2 스펙트럴 기반 접근법(예: ChebNet)과 비교했을 때, 제안된 정점 도메인 번역 방법의 성능와 인덕티브 바이어스는 어떠한가?
• RQ3 격자형 데이터에 적용했을 때 표준 2D CNN이 특수 케이스로 복원됨을 통해, 고전적 CNN의 인덕티브 바이어스를 유지하는가?
• RQ4 실제 비정규 데이터(예: 인간 뇌의 fMRI 신호)에서 제안된 방법이 경쟁력 있는 성능을 달성할 수 있는가?
• RQ5 커널 지원(즉, 이격 수)의 선택이 더 큰 수신장 크기를 가진 방법과 비교해 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 그래프 $σ_{geo}$를 사용하여 Haxby fMRI 데이터셋에서 평균 정확도 52.8%를 달성했으며, 다층퍼셉트론(MLP)과 단순 기준 분류기보다 뚜렷이 뛰어나다.
• ChebNet(체비셰프 다항식 필터를 사용하고 수신장이 더 크며)와 유사한 성능을 보이며, 성능 격차는 핵심 방법론적 접근 방식이 아닌 수신장 크기 때문임을 시사한다.
• 기초 그래프가 규칙적인 격자일 경우, 제안된 방법이 표준 2D CNN을 특수 케이스로 성공적으로 복원하여 고전적 CNN 설계 원칙과의 일관성을 입증한다.
• 제안된 방법과 ChebNet 간의 성능 격차는 유의미하지 않으며, 더 큰 커널 지원 또는 더 나은 커널 형태 설계를 통해 향상 가능성이 높음을 시사한다.
• 실험 결과, 제안된 방법은 모든 피험자에 대해 뛰어난 안정성을 보이며, 평균 정확도가 제안된 방법 기준 49.9%로, 기준 MLP의 38.9%보다 높게 나타났다.
• 저자들은 방법의 강점이 국소 구조와 방향성을 유지하는 데 있음을 관찰하여, 의미 있는 국소 기하학을 가진 다양체(manifolds)에서 기존 방법을 능가할 가능성이 있음을 제기한다.