[논문 리뷰] A theoretical argument for complex-valued convolutional networks

Joan Bruna, Soumith Chintala외 4명|arXiv (Cornell University)|2015. 03. 11.

Image and Signal Denoising Methods참고 문헌 18인용 수 3

한 줄 요약

이 논문은 다중 척도 윈도우드 파wer 스펙트럼, 절대 스펙트럼, 비선형 다중웨이블릿 패킷을 계산하는 데이터 기반 프레임워크로 복소수 값의 합성곱 신경망(복소수 합성곱 네트워크)을 제안한다. 복소수 합성곱, 절댓값, 국소 평균화를 적용함으로써, 시간 시계열 및 이미지 데이터에서 확률적 과정에 대해 웨이블릿 유사 변환과 정확히 일치하는 계층적이고 적응형 표현을 생성한다.

ABSTRACT

A complex-valued convolutional network (convnet) implements the repeated application of the following composition of three operations, recursively applying the composition to an input vector of nonnegative real numbers: (1) convolution with several complex-valued vectors followed by (2) taking the absolute value of every entry of the resulting vectors followed by (3) local averaging. For processing real-valued random vectors, complex-valued convnets can be viewed as “data-driven multiscale windowed power spectra,” “data-driven multiscale windowed absolute spectra,” “data-driven multiwavelet absolute values,” or (in their most general configuration) “data-driven nonlinear multiwavelet packets.” Indeed, complex-valued convnets can calculate multiscale windowed spectra when the convnet filters are windowed complex-valued exponentials. Standard real-valued convnets, using rectified linear units (ReLUs), sigmoidal (for example, logistic or tanh) nonlinearities, max. pooling, etc., do not obviously exhibit the same exact correspondence with data-driven wavelets (whereas for complex-valued convnets, the correspondence is much more than just a vague analogy). This note develops “data-driven multiscale windowed spectra” for certain stochastic processes that are common in the modeling of time series (such as audio) and natural images (including patterns and textures). We motivate the construction of such multiscale spectra in the form of “local averages of multiwavelet absolute values” or (in the most general configuration) “nonlinear multiwavelet packets” and connect these to certain “complex-valued convolutional networks.” A textbook treatment of all concepts and terms used above and below is given by [12]. Further information is available in the original work of [7], [15], [5], [4], [19], [16], [9], [20], and [18], for example. The work of [8], [13], [17], [2], and [3] also develops complex-valued convolutional networks (convnets). Renormalization group theory and its connection to convnets is discussed by [14]; this connection is incredibly insightful, though we leave further discussion to the cited work. Our exposition relies on nothing but the basic signal processing treated by [12]. For simplicity, we first limit consideration to the special case of a doubly infinite sequence of nonnegative random variables Xk, where k ranges over the integers. This input data will be the result of convolving an unmeasured independent and identically distributed (i.i.d.) sequence Zk, where k ranges over the integers, with an unknown sequence of real numbers fk, where k ranges over the integers (this latter sequence is known as a “filter,” whereas the i.i.d. sequence is known as “white noise”):

연구 동기 및 목표

• 복소수 합성곱 네트워크가 데이터 기반 다중 척도 윈도우드 파워 스펙트럼의 표현으로서 이론적 기초를 확립하는 것.
• 복소수 합성곱 네트워크가 백색 잡음에 알려지지 않은 필터를 합성곱한 확률적 과정에 신호 처리 원리 적용 시 자연스럽게 유도됨을 보여주는 것.
• 복소수 합성곱 네트워크와 웨이블릿 기반 변환 간의 대응 관계, 특히 다중웨이블릿 절댓값과 비선형 다중웨이블릿 패킷에 대한 명확한 설명 제공.
• 표준 실수값 합성곱 네트워크(예: ReLU, 맥스 풀링)와의 대비를 통해 복소수 합성곱 네트워크가 웨이블릿 이론과 더 정확하게 일치함을 보여주는 것.
• 고급 전제 조건 없이 표준 교과서 수준의 기초 신호 처리만을 사용해 자립적인 서술 제공.

제안 방법

• 모델은 i.i.d. 백색 잡음에 알려지지 않은 실수 필터를 합성곱하여 유도된 이중 무한한 비음수 실수값 랜덤 변수의 시퀀스를 처리한다.
• 세 가지 연산의 조합을 적용한다: (1) 복소수 필터를 이용한 합성곱, (2) 요소별 절댓값, (3) 국소 평균화.
• 복소수 필터는 윈도우드 복소 지수 함수로 해석되어 다중 척도 스펙트럼 성분을 추출할 수 있다.
• 결과로 유도된 아키텍처는 필터 설정에 따라 데이터 기반 다중 척도 윈도우드 파워 스펙트럼 또는 절대 스펙트럼을 계산한다.
• 필터가 단순한 윈도우드 지수 함수로 제한되지 않을 경우 비선형 다중웨이블릿 패킷으로 일반화된다.
• 이 프레임워크는 신호 처리 이론에 기반하며, 재정렬 그룹 이론과의 연결은 제안되지만 자세히 다루지 않는다.

실험 결과

연구 질문

• RQ1 복소수 합성곱, 절댓값, 풀링 조합이 다중 척도 윈도우드 스펙트럼과 유사한 표현을 어떻게 생성하는가?
• RQ2 복소수 합성곱 네트워크와 웨이블릿 변환 간의 이론적 관계, 특히 다중웨이블릿 절댓값과의 관계는 무엇인가?
• RQ3 왜 복소수 합성곱 네트워크는 표준 실수값 합성곱 네트워크(ReLU 또는 맥스 풀링 사용)보다 웨이블릿 이론과 더 정확하게 일치하는가?
• RQ4 어떤 방식으로 복소수 합성곱 네트워크는 필터링된 백색 잡음과 같은 확률적 과정에 대해 자연스러운 표현으로 나타나는가?
• RQ5 합성곱, 절댓값, 국소 평균화의 조합이 계층적이고 데이터 기반의 스펙트럼 특징을 어떻게 생성하는가?

주요 결과

• 필터가 윈도우드 복소 지수 함수일 경우 복소수 합성곱 네트워크는 데이터 기반 다중 척도 윈도우드 파워 스펙트럼을 생성한다.
• 이 아키텍처는 다중웨이블릿 절댓값의 국소 평균을 계산하여 비선형적이고 적응형 스펙트럼 표현을 제공한다.
• 가장 일반적인 설정에서 이 프레임워크는 비선형 다중웨이블릿 패킷으로 일반화되어 더 풍부한 특징 계층을 가능하게 한다.
• 복소수 합성곱 네트워크와 웨이블릿 유사 변환 간의 대응 관계는 정확하고 이론적으로 기반된 것으로, 단순한 유사성 이상이다.
• 표준 실수값 합성곱 네트워크(ReLU 또는 맥스 풀링 사용)는 웨이블릿 이론과의 직접적이고 정밀한 연결을 갖지 못한다.
• 모델는 고급 이론적 장치가 아닌 표준 교과서 수준의 기초 신호 처리 원리에서 유도된다.