[논문 리뷰] Non-Parametric Transformation Networks

Dipan K. Pal, Marios Savvides|arXiv (Cornell University)|2018. 01. 14.

Graph Theory and Algorithms참고 문헌 34인용 수 3

한 줄 요약

이 논문은 데이터에서 직접 일반적인 불변성과 대칭성을 학습할 수 있는 새로운 딥 컨볼루션 아키텍처인 비모수적 변환 네트워크(NPTNs)를 소개한다. 이는 변환의 파라미터 형식을 가정하지 않고도 학습한다. NPTNs는 비모수적으로 학습된 필터에 대한 변환 풀링을 사용함으로써 ConvNets를 일반화하여, 동일한 파라미터 수로 MNIST, CIFAR10, ETH-80에서 뛰어난 성능을 내며, 캡슐 네트워크의 컨볼루션 레이어를 NPTN 모듈로 교체함으로써 성능을 크게 향상시킨다.

ABSTRACT

ConvNets, through their architecture, only enforce invariance to translation. In this paper, we introduce a new class of deep convolutional architectures called Non-Parametric Transformation Networks (NPTNs) which can learn extit{general} invariances and symmetries directly from data. NPTNs are a natural generalization of ConvNets and can be optimized directly using gradient descent. Unlike almost all previous works in deep architectures, they make no assumption regarding the structure of the invariances present in the data and in that aspect are flexible and powerful. We also model ConvNets and NPTNs under a unified framework called Transformation Networks (TN), which yields a better understanding of the connection between the two. We demonstrate the efficacy of NPTNs on data such as MNIST with extreme transformations and CIFAR10 where they outperform baselines, and further outperform several recent algorithms on ETH-80. They do so while having the same number of parameters. We also show that they are more effective than ConvNets in modelling symmetries and invariances from data, without the explicit knowledge of the added arbitrary nuisance transformations. Finally, we replace ConvNets with NPTNs within Capsule Networks and show that this enables Capsule Nets to perform even better.

연구 동기 및 목표

• 변환의 파라미터 형식을 가정하지 않고 데이터로부터 일반적인 불변성과 대칭성을 학습할 수 있는 딥 러닝 아키텍처를 개발하는 것.
• 컨볼루션 네트워크의 불변성 메커니즘을 이동 외의 임의의, 데이터에서 관찰된 변환으로 확장하여 ConvNets를 일반화하는 것.
• 표준 최적화 방법(예: SGD)을 사용한 엔드 투 엔드 훈련을 가능하게 하면서도 계산 효율성과 메모리 효율성을 유지하는 것.
• 데이터 증강이나 보조 목표를 통한 불변성 강제보다 아키텍처를 통해 직접 불변성을 모델링할 경우 비전 벤치마크에서 성능 향상이 이루어지는지 입증하는 것.
• NPTNs를 캡슐 네트워크와 같이 새로운 아키텍처에 통합하여 불변성 학습 능력과 전체 성능를 향상시키는 것.

제안 방법

• NPTNs는 고정된 가중치 공유를 학습 가능한 비모수적 변환으로 대체하는 통합 프레임워크인 변환 네트워크(TN)에 기반한다.
• 각 NPTN 노드는 기본 필터 $w$ 에서 유도된 $|G|$ 개의 변환된 필터(템플릿)를 사용하여 컨볼루션 연산을 수행하며, $g$ 는 $w$ 에 적용된 변환을 나타낸다.
• 출력은 입력 패치와 각 변환된 필터 간의 내적을 통해 계산되며, $|G|$ 개의 스칼라 응답을 생성한다.
• 최대 풀링을 통해 $|G|$ 개의 채널(다양한 변환을 나타냄)에 걸쳐 변환 풀링을 적용하여, $G$ 에 포함된 변환에 대해 불변인 출력을 도출한다.
• 표준 backpropagation와 확률적 경사 하강법을 사용하여 네트워크를 훈련하며, 훈련 또는 추론 중에 입력, 활성화, 필터를 명시적으로 변환할 필요가 없다.
• 기존 아키텍처(예: 캡슐 네트워크)에 통합 가능하며, 표준 컨볼루션 레이어를 NPTN 레이어로 교체함으로써 파라미터 수를 유지할 수 있다.

실험 결과

연구 질문

• RQ1 딥 신경망 아키텍처가 변환의 파라미터 형식을 사전에 가정하지 않고도 데이터로부터 임의의 비모수적 변환에 대한 일반적인 불변성을 직접 학습할 수 있는가?
• RQ2 복잡한 변환이 있는 벤치마크에서 동일한 파라미터 수로 제한된 NPTNs와 표준 ConvNets의 성능를 비교했을 때 어떤가?
• RQ3 NPTNs가 캡슐 네트워크와 같이 최신 아키텍처의 컨볼루션 구성 요소를 교체함으로써 성능 향상에 얼마나 기여하는가?
• RQ4 변환 풀링을 통한 아키텍처 설계에 의한 불변성 학습이 데이터 증강이나 보조 손실 기반의 불변성 강제보다 성능이 뛰어나게 되는가?
• RQ5 기본 변환군이 알려져 있지도 않거나 매우 복잡한 경우에도 NPTNs가 대칭성과 불변성을 효과적으로 모델링할 수 있는가?

주요 결과

• MNIST에서 극단적인 변환 조건에서도 NPTNs는 더 적은 채널 수와 동일한 파라미터 수로 기존 ConvNets보다 더 낮은 테스트 오차를 기록하며 뛰어난 성능을 보였다.
• CIFAR10에서 NPTNs는 자연 이미지 데이터에서의 불변성 학습 능력 향상으로 인해 동일한 파라미터 예산 내에서 베이스라인 ConvNets보다 더 나은 일반화 성능을 보였다.
• ETH-80에서 NPTNs는 데이터 증강 및 보조 손실을 사용한 최근 최고 성능 알고리즘들보다도 뛰어난 성능을 보였으며, 동일한 파라미터 수를 유지했다.
• 캡슐 네트워크의 컨볼루션 레이어를 NPTN 레이어로 교체했을 때, 채널 수를 3분의 1로 줄였음에도 불구하고 테스트 오차는 1.90%에서 0.78%로 감소하여 성능 향상이 뚜렷했다.
• 캡슐 네트워크에서 NPTNs를 사용한 성능 향상은 각 캡슐 내에서 불변성을 모델링함으로써 전체 표현 학습 능력과 객체 인식 능력이 향상됨을 시사한다.
• NPTNs는 변환군에 대한 사전 지식 없이도 효과적으로 불변성을 학습하며, 데이터에서 직접 복잡한 비모수적 대칭성을 포착할 수 있음을 입증했다.