[논문 리뷰] Deep Residual Auto-Encoders for Expectation Maximization-based Dictionary Learning.

Bahareh Tolooshams, S. Dey외 1명|arXiv (Cornell University)|2019. 04. 18.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 기대치 최대화 원리를 사전 학습에 통합하여 사전과 ReLU 바이어스(정규화 파라미터)를 함께 최적화할 수 있는 깊이 있는 잔차 오토인코더인 제약 있는 순환 희박 오토인코더(CRsAE)를 제안한다. 이는 볼록 최적화 방법에 비해 이미지 노이즈 제거 성능이 뛰어나고 신경 파동 탐지 속도가 900배 빨라서 뛰어난 성능을 보인다.

ABSTRACT

We introduce a neural-network architecture, termed the constrained recurrent sparse autoencoder (CRsAE), that solves convolutional dictionary learning problems, thus establishing a link between dictionary learning and neural networks. Specifically, we leverage the interpretation of the alternating-minimization algorithm for dictionary learning as an approximate Expectation-Maximization algorithm to develop autoencoders that enable the simultaneous training of the dictionary and regularization parameter (ReLU bias). The forward pass of the encoder approximates the sufficient statistics of the E-step as the solution to a sparse coding problem, using an iterative proximal gradient algorithm called FISTA. The encoder can be interpreted either as a recurrent neural network or as a deep residual network, with two-sided ReLU non-linearities in both cases. The M-step is implemented via a two-stage back-propagation. The first stage relies on a linear decoder applied to the encoder and a norm-squared loss. It parallels the dictionary update step in dictionary learning. The second stage updates the regularization parameter by applying a loss function to the encoder that includes a prior on the parameter motivated by Bayesian statistics. We demonstrate in an image-denoising task that CRsAE learns Gabor-like filters, and that the EM-inspired approach for learning biases is superior to the conventional approach. In an application to recordings of electrical activity from the brain, we demonstrate that CRsAE learns realistic spike templates and speeds up the process of identifying spike times by 900x compared to algorithms based on convex optimization.

연구 동기 및 목표

• 교대 최소화 알고리즘을 약한 기대치 최대화 과정으로 재해석하여 사전 학습과 딥 뉴럴 네트워크를 연결하고자 한다.
• 단일 신경망 아키텍처 내에서 사전과 정규화 파라미터(ReLU 바이어스)를 종단 간(end-to-end) 훈련시킬 수 있도록 하고자 한다.
• 이미지 노이즈 제거 및 뉴런 신호 처리와 같은 희박 표현 작업의 성능을 향상시키고자 한다.
• 일반적으로 계산 비용이 높은 신경 파동 탐지 시간을 식별하는 데 속도를 높이고자 한다.

제안 방법

• 에코더는 FISTA 기반의 프록시 급수 알고리즘을 구현하여 희박 코딩 문제를 해결하며, EM의 E단계를 근사한다.
• 에코더는 양방향 ReLU 비선형성을 가진 깊이 있는 잔차 네트워크 또는 순환 신경망으로 해석될 수 있다.
• M단계는 두 단계의 역전파로 구현된다: 첫 번째로 선형 디코더와 노름 제곱 손실을 사용하여 사전를 업데이트한다.
• 두 번째로, 에코더에 적용된 베이지안 사전 정보 기반의 손실 함수를 사용하여 정규화 파라미터를 업데이트한다.
• 이 아키텍처는 별도의 최적화 단계 없이 역전파를 통해 사전과 바이어스를 함께 최적화할 수 있도록 한다.
• 재구성 오차와 바이어스 파라미터에 대한 사전 정보를 포함하는 복합 손실을 사용하여 종단 간 역전파로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 사전 학습을 위한 교대 최소화 알고리즘을 약한 기대치 최대화 과정으로 재해석함으로써 종단 간 신경망 훈련이 가능해지는가?
• RQ2 깊이 있는 잔차 오토인코더 아키텍처가 사전과 ReLU 바이어스(정규화 파라미터)를 미분 가능한 방식으로 함께 최적화할 수 있는가?
• RQ3 EM 유사 학습을 통해 얻은 정규화 파라미터가 기존의 고정 또는 수동으로 조정된 정규화 방식보다 희박 코딩 작업에서 더 나은 성능을 내는가?
• RQ4 제안된 방법은 볼록 최적화 기반 접근법에 비해 전기생리 기록에서 신경 파동 탐지 속도를 크게 향상시킬 수 있는가?

주요 결과

• CRsAE는 이미지 노이즈 제거 작업에서 가보르 유사 필터를 성공적으로 학습하여 효과적인 특징 학습을 보였다.
• ReLU 바이어스(정규화 파라미터)에 대한 EM 유사 접근법이 이미지 노이즈 제거 성능에서 기존 방법보다 뛰어난 성능을 보였다.
• 신경 파동 탐지에서 CRsAE는 볼록 최적화 기반 알고리즘에 비해 파동 탐지 시간을 900배 빠르게 처리했다.
• 모델은 뇌 전기적 기록에서 현실적인 파동 템플릿을 학습하여 생물학적 타당성을 입증했다.
• 이중 단계 역전파 메커니즘은 사전과 바이어스 파라미터의 안정적이고 효과적인 공동 최적화를 가능하게 했다.
• 잔차 또는 순환 네트워크로 해석 가능한 아키텍처의 이중 해석은 훈련 성능에 손상 없이 구현의 유연성을 제공했다.