[논문 리뷰] Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations

Alberto Bietti, Julien Mairal|arXiv (Cornell University)|2017. 06. 09.

Neural Networks and Applications참고 문헌 56인용 수 58

한 줄 요약

이 논문은 다층 컨볼루션 커널(CKN) 프레임워크를 개발하여 불변성, 변형에 대한 안정성, 그리고 깊은 컨볼루션 표현의 복잡성을 연구하고, 커널 RKHS 노름을 CNN의 일반화 및 안정성과 연결한다.

ABSTRACT

The success of deep convolutional architectures is often attributed in part to their ability to learn multiscale and invariant representations of natural signals. However, a precise study of these properties and how they affect learning guarantees is still missing. In this paper, we consider deep convolutional representations of signals; we study their invariance to translations and to more general groups of transformations, their stability to the action of diffeomorphisms, and their ability to preserve signal information. This analysis is carried by introducing a multilayer kernel based on convolutional kernel networks and by studying the geometry induced by the kernel mapping. We then characterize the corresponding reproducing kernel Hilbert space (RKHS), showing that it contains a large class of convolutional neural networks with homogeneous activation functions. This analysis allows us to separate data representation from learning, and to provide a canonical measure of model complexity, the RKHS norm, which controls both stability and generalization of any learned model. In addition to models in the constructed RKHS, our stability analysis also applies to convolutional networks with generic activations such as rectified linear units, and we discuss its relationship with recent generalization bounds based on spectral norms.

연구 동기 및 목표

• 훈련 데이터와 무관하게 깊은 컨볼루션 표현의 불변성 및 안정성 특성을 특성화한다.
• 다층 커널 표현에 의해 유도된 기능 공간(RKHS)과 그것의 CNNs와의 관계를 분석한다.
• 안정성과 일반화를 제어하는 노름 기반의 모델 복잡성 척도를 제시한다.
• 일반적인 CNN 활성화에 대한 안정성 분석을 확장하고 기존의 일반화 경계(bound)와의 관계를 밝힌다.
• RKHS 노름을 통한 표현 정규화가 학습 결과를 개선할 수 있는 방법을 논의한다.

제안 방법

• 패치 추출, 커널 매핑, 풀링 연산으로 구성된 다층 컨볼루션 커널 표현을 정의한다.
• 패치를 RKHS로 매핑하고 노름 보존 및 비확장성을 보장하기 위해 동형 점곱 커널을 사용한다.
• 풀링을 포함한 계층적 커널을 구성하여 이동 불변성과 diffeomorphisms에 대한 안정성을 높인다.
• RKHS가 매끄러운 동형 활성화를 갖는 CNN들을 포함한다는 것을 보이고, 합성곱 필터의 계층별 노름을 통해 이들의 RKHS 노름을 상한한다.
• 비매끄러운 활성화를 갖는 CNN들에 대한 분석을 확장하고 안정성을 스펙트럴 노름의 곱과 관련짓는다.

실험 결과

연구 질문

• RQ1 다층 커널 표현이 심층 컨볼루션 아키텍처에서 이동 불변성과 diffeomorphisms에 대한 안정성을 어떻게 제공하는가?
• RQ2 다층 커널에 의해 유도된 RKHS의 본질은 무엇이며, 어떤 CNN들이 그 안에 위치하는가?
• RQ3 RKHS 노름이 안정성과 일반화에 영향을 주는 모델 복잡성의 표준 척도로 어떻게 작용할 수 있는가?
• RQ4 커널 근사(CKNs)가 불변성과 안정성 보장에 어떤 영향을 미치는가?
• RQ5 그룹 등가 확장이 더 넓은 변환 그룹에 대한 불변성을 제공하면서도 안정성을 유지할 수 있는가?

주요 결과

• 다층 커널 표현은 신호 정보를 보존하고 정의된 노름 하에서 거의 평행 이동 불변성과 변형에 대한 안정성을 달성한다.
• 다층 커널에 대응하는 RKHS는 매끄럽고 동형 활성화를 갖는 CNN의 큰 범주를 포함하며, 노름 기반의 복잡도 제어를 가능하게 한다.
• RKHS에서 구축된 CNN의 RKHS 노름에 대한 상한이 계층별 스펙트럼 및 Frobenius 노름과 활성화 특성 복잡도 요인으로 나타난다.
• CKNs에 사용된 커널 근사에 대한 안정성 결과가 확장되며, 정보 보존에서의 상호 보완적 트레이드오프가 따른다.
• ReLU와 같은 일반적인 활성화에 대해서도 스펙트럼 노름의 곱을 통해 유사한 안정성 특성을 논의할 수 있으며, 기존 일반화 경계(bound)와 연계된다.