[논문 리뷰] Generalizing the Convolution Operator to extend CNNs to Irregular Domains

J Vialatte, Vincent Gripon외 1명|arXiv (Cornell University)|2016. 06. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 21

한 줄 요약

이 논문은 표준 컨볼루션의 핵심 성질인 선형성, 국소성, 가중치 공유를 유지하면서 그래프 기반 구조를 사용하여 CNN을 비정규적 도메인으로 일반화하는 일반화된 컨볼루션 연산자를 제안한다. 이 방법은 왜곡된 MNIST 데이터셋에서 MLP보다 뛰어난 성능을 보이며, 정규 격자에서는 표준 컨벌루션을 정확히 재현한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have become the state-of-the-art in supervised learning vision tasks. Their convolutional filters are of paramount importance for they allow to learn patterns while disregarding their locations in input images. When facing highly irregular domains, generalized convolutional operators based on an underlying graph structure have been proposed. However, these operators do not exactly match standard ones on grid graphs, and introduce unwanted additional invariance (e.g. with regards to rotations). We propose a novel approach to generalize CNNs to irregular domains using weight sharing and graph-based operators. Using experiments, we show that these models resemble CNNs on regular domains and offer better performance than multilayer perceptrons on distorded ones.

연구 동기 및 목표

• IoT 센서 읽기나 비균일한 공간 신호와 같은 비정규적 구조의 데이터를 처리하는 데에 표준 CNN의 한계를 해결하기 위해.
• 스펙트럴 그래프 기반 컨벌루션의 단점인 국소성 상실과 비정규적 그래프에서의 의도하지 않은 회전 불변성 문제를 해결하기 위해.
• CNN의 불변성과 효율성을 유지하면서도 임의의 그래프 기반 데이터에 적용 가능한 컨벌루션 연산자를 개발하기 위해.
• 일반화된 연산자가 정규 격자에서 표준 컨벌루션으로 감소함으로써 기존 CNN 아키텍처에 원활하게 통합될 수 있도록 보장하기 위해.
• 사전 정의된 다양체나 복잡한 좌표계가 필요 없이도, 비정규적 도메인에서 다층퍼셉트론(Multilayer Perceptrons)보다 성능이 뛰어난 방법을 입증하기 위해.

제안 방법

• 각 노드가 임bedded된 유클리드 공간 내의 데이터 포인트에 대응하고, 간선이 이웃 관계를 나타내는 그래프 기반 입력 도메인을 정의한다.
• 이웃 노드의 상대적 위치에 따라 달라지는 커널 가중치 할당 맵을 사용하여 국소적이고 가중치가 공유된 컨벌루션을 구성한다.
• 이웃 노드 간의 거리에 대해 적용되는 학습 가능한 커널 함수를 통해 가중치를 결정하는 가중치 합으로 일반화된 컨벌루션을 수식화한다.
• ReLU 활성화, $2\mu$ 크기의 풀링 패치를 사용한 맥스 풀링, 소프트맥스 출력을 갖는 완전 연결층을 포함한 CNN 유사 아키텍처에 일반화된 컨벌루션을 통합한다.
• Nesterov 모멘텀과 L2 정규화를 사용한 확률적 경사 하강법을 사용하여 모델을 훈련시키며, 기준 MLP와 동일한 파라미터 수를 확보한다.
• 헤다드 곱과 행렬 전치를 사용하여 특성, 가중치, 편향에 대한 기울기 계산 규칙을 유도한다.

실험 결과

연구 질문

• RQ1 표준 CNN의 핵심 성질인 국소성, 선형성, 가중치 공유를 유지하면서 비정규적 도메인으로 컨벌루션 연산자를 일반화할 수 있는가?
• RQ2 왜곡된 MNIST 이미지와 같은 비정규적 구조의 데이터에서 일반화된 CNN의 성능은 표준 다층퍼셉트론(MLP)과 비교해 어떻게 되는가?
• RQ3 제안된 연산자가 정규 격자에서 표준 컨벌루션으로 감소하는가? 이는 기존 CNN 모델과의 후행 호환성을 보장한다.
• RQ4 이 방법은 스펙트럴 그래프 방법에서 나타나는 의도하지 않은 대칭성(예: 회전 불변성)을 피하면서 공간 불변성을 얼마나 잘 유지하는가?
• RQ5 일반화된 컨벌루션은 IoT 센서 네트워크나 뇌 영상 데이터와 같은 임의의 기저 그래프 구조를 가진 실세계 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• 왜곡된 MNIST 데이터셋에서 동일한 파라미터 수를 가진 MLP보다 일반화된 CNN이 더 낮은 오차율을 기록한다. 특히 200μ까지의 높은 왜곡 수준에서도 성능이 우수하다.
• 왜곡되지 않은(정규적) MNIST 데이터에서는 일반화된 CNN이 팯딩을 사용한 표준 CNN과 동일한 성능을 보이며, 정규 격자에서 고전적 컨벌루션과의 동치성을 확인한다.
• 모델은 스펙트럴 그래프 컨벌루션 방법에서 관찰되는 비국소적 행동을 피하면서도 국소성을 유지한다. 특히 비정규적 그래프에서 두드러진다.
• 제안된 연산자는 다양한 그래프 구조 간에 가중치 공유를 가능하게 하여, 동일한 공간에 임베딩된 입력이라면 기저 그래프의 위상에 관계없이 학습된 필터가 일반화될 수 있도록 한다.
• 스펙트럴 기반 그래프 CNN보다 도메인 왜곡에 대한 불변성을 더 잘 유지하며, 임의의 회전 대칭성을 유도하지 않기 때문에 성능이 뛰어나다.
• 헤다드 곱과 행렬 전치를 포함한 닫힌 형태의 기울기 표현을 사용하여 일반화된 컨벌루션 레이어를 통해 역전파를 효율적으로 계산할 수 있다.