[논문 리뷰] Kernel Mode Decomposition and programmable/interpretable regression networks

Houman Owhadi, Clint Scovel외 1명|arXiv (Cornell University)|2019. 07. 19.

Gaussian Processes and Bayesian Inference참고 문헌 109인용 수 9

한 줄 요약

이 논문은 커널 모드 분해를 기반으로 한 프로그래머블하고 해석 가능한 회귀 네트워크를 도입하여 패턴 인식을 수행한다. 최소최대 최적 근사와 가우시안 프로세스 회귀, 공분산 연산자를 통해 비정상적 신호에서 모드를 거의 기계 정밀도에 가까운 정밀도로 복원한다. 정규성 및 분리 조건 하에서 이론적으로 딥 러닝과 최적 복원, 게임 이론, GPR를 연결한다.

ABSTRACT

Mode decomposition is a prototypical pattern recognition problem that can be addressed from the (a priori distinct) perspectives of numerical approximation, statistical inference and deep learning. Could its analysis through these combined perspectives be used as a Rosetta stone for deciphering mechanisms at play in deep learning? Motivated by this question we introduce programmable and interpretable regression networks for pattern recognition and address mode decomposition as a prototypical problem. The programming of these networks is achieved by assembling elementary modules decomposing and recomposing kernels and data. These elementary steps are repeated across levels of abstraction and interpreted from the equivalent perspectives of optimal recovery, game theory and Gaussian process regression (GPR). The prototypical mode/kernel decomposition module produces an optimal approximation $(w_1,w_2,\cdots,w_m)$ of an element $(v_1,v_2,\ldots,v_m)$ of a product of Hilbert subspaces of a common Hilbert space from the observation of the sum $v:=v_1+\cdots+v_m$. The prototypical mode/kernel recomposition module performs partial sums of the recovered modes $w_i$ based on the alignment between each recovered mode $w_i$ and the data $v$. We illustrate the proposed framework by programming regression networks approximating the modes $v_i= a_i(t)y_i\big(θ_i(t)\big)$ of a (possibly noisy) signal $\sum_i v_i$ when the amplitudes $a_i$, instantaneous phases $θ_i$ and periodic waveforms $y_i$ may all be unknown and show near machine precision recovery under regularity and separation assumptions on the instantaneous amplitudes $a_i$ and frequencies $\dotθ_i$. The structure of some of these networks share intriguing similarities with convolutional neural networks while being interpretable, programmable and amenable to theoretical analysis.

연구 동기 및 목표

• 수치 근사, 통계적 추론, 딥 러닝을 연결하는 설명 가능하고 프로그래머블한 회귀 네트워크 프레임워크를 개발하는 것.
• 힐버트 공간에서 최소최대 최적 복원을 사용하여 모드 분해를 원형 패턴 인식 문제로 형식화하는 것.
• 모듈러하고 객체 지향적인 설계를 통해 신경망 유사 아키텍처의 이론적 분석 및 수렴 보장을 가능하게 하는 것.
• 커널 및 모드 분해를 통한 딥 러닝 메커니즘 해독을 위한 로제타 스톤 비유를 제공하는 것.
• 정규성 및 주파수 분리 조건 하에서 비삼각함수적 비정상적 신호 모드를 거의 기계 정밀도로 복원하는 것.

제안 방법

• 핵심 방법은 힐버트 부분공간 $ V_i $ 에서의 최소최대 최적 복원을 사용하여 합 $ v = \sum v_i $ 로부터 성분 $ (v_1, \dots, v_m) $ 를 근사하는 원형 모드/커널 분해 모듈을 사용한다. 이는 곱의 노름 $ \sum \|\cdot\|_{V_i}^2 $ 에서 수행된다.
• 분해는 $ w_i = Q_i (\sum Q_j)^{-1} v $ 로 계산되며, 여기서 $ Q_i $ 는 힐버트 부분공간 $ V_i $ 의 공분산 연산자이고, $ w_i = \mathbb{E}[\xi_i \mid \sum \xi_j = v] $ 는 평균이 0인 가우시안 과정 $ \xi_i \sim \mathcal{N}(0, Q_i) $ 에 대한 후행 기대값이다.
• 재구성 모듈은 복원된 모드 $ w_i $ 와 공분산 연산자 $ Q_i $ 의 부분합을 수행하며, 데이터 $ v $ 와의 정렬을 내적 $ \langle \cdot, \cdot \rangle_{S^{-1}} $ 를 통해 이끌어낸다. 여기서 $ S = \sum Q_i $ 이다.
• 프레임워크는 각 단계를 최적 복원, 게임 이론, 가우시안 프로세스 회귀(GPR)의 등가적 관점으로 설명한다.
• 주기적 함수의 경우 푸리에 분석과 컨볼루션 항등식을 활용하며, 파oisson 커널 $ \phi(s) = \frac{\sinh(\alpha^2/4)}{\cosh(\alpha^2/4) - \cos s} $ 을 사용하여 커널 노름과 공분산 구조를 유도한다.
• 이론적 분석은 이 방법이 희소 시간-주파수 표현과 $ L^1 $-최소화와 연결되며, 진폭과 주파수의 정규성 및 분리 조건 하에서 수렴이 보장됨을 보여준다.

실험 결과

연구 질문

• RQ1 모드 분해는 힐버트 부분공간 간 최소최대 최적 복원 문제로 형식화될 수 있는가? 이는 이론적 분석과 해석 가능성에 기여하는가?
• RQ2 가우시안 프로세스 회귀와 공분산 연산자를 어떻게 활용하여 패턴 인식을 위한 모듈러하고 프로그래머블한 회귀 네트워크를 구성할 수 있는가?
• RQ3 이러한 네트워크의 구조는 컨volutional 신경망과 얼마나 유사한가? 동시에 설명 가능하고 분석 가능할 수 있는가?
• RQ4 이러한 네트워크는 최소한의 가정 하에 비삼각함수적 비정상적 신호 모드를 거의 기계 정밀도로 복원할 수 있는가?
• RQ5 커널 모드 분해, 최적 복원, 게임 이론, 딥 러닝 간 이론적 연결 고리는 무엇인가?

주요 결과

• 제안된 모드 분해 모듈은 곱의 노름 $ \sum \|\cdot\|_{V_i}^2 $ 에서 $ v = \sum v_i $ 로부터 $ (v_1, \dots, v_m) $ 를 최소최대 최적 복원하며, 오차는 노름 내 상대 오차로 유계된다.
• 분해는 수학적으로 후행 기대값 $ \mathbb{E}[\xi_i \mid \sum \xi_j = v] $ 와 동치이며, 가우시안 프로세스에서 베이지안 추론과 연결된다.
• 이 프레임워크는 진폭 $ a_i $ 와 주파수 도함수 $ \dot{\theta}_i $ 가 정규적이며 분리되어 있을 경우, 신호 모드 $ v_i = a_i(t) y_i(\theta_i(t)) $ 를 거의 기계 정밀도로 복원할 수 있다.
• 네트워크 구조는 계층적 특징 학습 측면에서 컨볼루션 신경망과 유사성을 띠며, 해석 가능하고 분석 가능하다.
• 이 방법은 최적 복원, 게임 이론, GPR와의 연결을 통해 딥 러닝의 이론적 기반을 구축하며, 불확실성 정량화 및 수렴 분석로의 길을 제시한다.
• 공분산 연산자의 주파수 도메인에서의 구조를 확인하기 위해 $ \|y\|^2 = \int G(t,t') y(t) y^*(t') dt dt' $ 를 통한 커널 노름 유도에서 $ G(t,t') = 2\pi \frac{\sinh(\alpha^2/2)}{\cosh(\alpha^2/2) - \cos(t-t')} $ 이 성립함을 확인한다.