[논문 리뷰] Phase Harmonics and Correlation Invariants in Convolutional Neural Networks.

Stéphane Mallat, Sixin Zhang외 1명|arXiv (Cornell University)|2018. 10. 29.

Neural Networks and Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 복소 해석적 확장을 통한 합성곱 신경망 계수의 푸리에 변환을 통해 유도된 단층 신경망의 상관 행렬에 대한 희박하고 리프시츠 연속적인 표현인 '단계 조화'를 소개한다. 단계 조화 상관은 특히 필터가 웨이블릿일 경우, 소수의 조화 성분만으로도 1차원 신호와 이미지의 매우 정확한 재구성을 가능하게 한다.

ABSTRACT

We prove that linear rectifiers act as phase transformations on complex analytic extensions of convolutional network coefficients. These phase transformations are linearized over a set of phase harmonics, computed with a Fourier transform. The correlation matrix of one-layer convolutional network coefficients is a translation invariant representation, which is used to build statistical models of stationary processes. We prove that it is Lipschitz continuous and that it has a sparse representation over phase harmonics. When network filters are wavelets, phase harmonic correlations provide important information about phase alignments across scales. We demonstrate numerically that large classes of one-dimensional signals and images are precisely reconstructed with a small fraction of phase harmonic correlations.

연구 동기 및 목표

• CNN의 선형 정류기와 네트워크 계수의 복소 해석적 확장 위에서의 단계 변환을 연결하는 이론적 프레임워크를 수립하기 위해.
• 단층 CNN에 대해 단계 조화를 사용하여 이동 불변이고 리프시츠 연속적인 상관 표현을 개발하기 위해.
• 필터가 웨이블릿일 경우 단계 조화 상관이 다양한 스케일 간의 필수적인 구조적 정보를 포착함을 보여주기 위해.
• 최소한의 단계 조화 상관만으로도 신호와 이미지의 고해상도 재구성이 가능함을 보여주기 위해.

제안 방법

• 선형 정류기 하에서 네트워크 계수의 단계 행동을 모델링하기 위해 합성곱 신경망 계수에 복소 해석적 확장을 적용하기 위해.
• 복소수 계수 표현에 대한 푸리에 변환을 통해 단계 조화를 계산하기 위해.
• 이동에 대해 불변인 표현으로서 네트워크 계수의 상관 행렬을 유도하기 위해.
• 입력 변형에 대한 상관 행렬의 리프시츠 연속성을 증명하기 위해.
• 단계 조화 기저 위에서 상관 행렬의 희박한 표현을 수립하기 위해.
• 웨이블릿 필터를 사용하여 단계 조화 상관을 통해 스케일 간의 단계 정렬을 분석하기 위해.

실험 결과

연구 질문

• RQ1 복소 도메인으로 확장된 경우, CNN의 선형 정류기가 네트워크 계수의 단계 구조에 어떤 영향을 미치는가?
• RQ2 단층 CNN 계수의 상관 행렬이 단계 조화의 희박한 조합으로 표현될 수 있는가?
• RQ3 웨이블릿 기반 필터에서 단계 조화 상관은 스케일 간 단계 정렬을 어떻게 포착하는가?
• RQ4 소수의 단계 조화 상관만으로 얼마나 정밀하게 신호와 이미지를 재구성할 수 있는가?
• RQ5 입력 변형에 대해 CNN 계수의 상관 행렬은 리프시츠 연속적인가?

주요 결과

• 선형 정류기는 CNN 계수의 복소 해석적 확장 위에서 단계 변환을 유도하며, 이는 푸리에 분석을 통해 단계 조화 기반으로 선형화된다.
• 단층 CNN 계수의 상관 행렬이 입력 변형에 대해 리프시츠 연속임을 증명하였다.
• 상관 행렬은 단계 조화 기저에서 희박한 표현을 가지며, 이는 효율적인 모델링을 가능하게 한다.
• 필터가 웨이블릿일 경우, 단계 조화 상관은 다양한 스케일 간의 중요한 단계 정렬 정보를 드러낸다.
• 수치 실험을 통해 1차원 신호와 이미지의 대부분의 클래스가 단계 조화 상관의 소수만으로도 고해상도 재구성이 가능하다는 것이 확인되었다.