[논문 리뷰] Optimal deep neural networks for sparse recovery via Laplace techniques

Steffen Limmer, Sławomir Stańczak|arXiv (Cornell University)|2017. 09. 04.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 압축 측정값으로부터 단형형 제약을 가진 벡터의 최적 희소 복원을 위한 완전 분석적 딥 네ural 네트워크를 제안한다. 라플라스 변환 기법을 사용하여 학습 없이 다면체 중심을 계산한다. 네트워크 아키텍처는 다중 차원 라플라스 변환을 통한 부피 및 중심 계산에서 유도되며, 균일한 입력 분포 하에서 정확한 MMSE 추정을 가능하게 하고, ReLU, 임계값, 정 rectified 다항식 활성화 함수를 사용할 때 최적 성능을 달성한다.

ABSTRACT

This paper introduces Laplace techniques for designing a neural network, with the goal of estimating simplex-constraint sparse vectors from compressed measurements. To this end, we recast the problem of MMSE estimation (w.r.t. a pre-defined uniform input distribution) as the problem of computing the centroid of some polytope that results from the intersection of the simplex and an affine subspace determined by the measurements. Owing to the specific structure, it is shown that the centroid can be computed analytically by extending a recent result that facilitates the volume computation of polytopes via Laplace transformations. A main insight of this paper is that the desired volume and centroid computations can be performed by a classical deep neural network comprising threshold functions, rectified linear (ReLU) and rectified polynomial (ReP) activation functions. The proposed construction of a deep neural network for sparse recovery is completely analytic so that time-consuming training procedures are not necessary. Furthermore, we show that the number of layers in our construction is equal to the number of measurements which might enable novel low-latency sparse recovery algorithms for a larger class of signals than that assumed in this paper. To assess the applicability of the proposed uniform input distribution, we showcase the recovery performance on samples that are soft-classification vectors generated by two standard datasets. As both volume and centroid computation are known to be computationally hard, the network width grows exponentially in the worst-case. It can be, however, decreased by inducing sparse connectivity in the neural network via a well-suited basis of the affine subspace. Finally, the presented analytical construction may serve as a viable initialization to be further optimized and trained using particular input datasets at hand.

연구 동기 및 목표

• 단형형에서 균일한 사전 확률를 가진 희소 벡터에 대해 최소 평균 제곱 오차(MMSE) 추정을 달성하는 딥 네트워크를 설계한다.
• 라플라스 변환 기법을 사용하여 네트워크 아키텍처와 파라미터를 분석적으로 유도함으로써 데이터 기반 학습의 필요성을 제거한다.
• 희소성, 신경망 아키텍처, 압축 감지 맥락에서의 볼록 기하학 간의 이론적 기반을 구축한다.
• ReLU, 임계값, 정 rectified 다항식(ReP) 활성화 함수가 분석적 구성 과정에서 자연스럽게 유도된다는 것을 보여준다.

제안 방법

• MMSE 추정 문제를 측정값으로 정의된 약간의 아핀 부분공간과 단형의 교차로 형성된 다면체의 중심을 계산하는 문제로 재구성한다.
• 다중 차원 라플라스 변환을 적용하여 유도된 다면체의 부피와 중심을 분석적으로 계산한다.
• 최근의 라플라스 기반 부피 계산 결과를 활용하여 중심에 대한 폐쇄형 표현식을 도출하며, 이는 최적 추정기와 대응한다.
• 측정값의 수와 동일한 M층을 가지는 딥 네트워크를 설계하여 중심 계산을 구현한다. 활성화 함수로 ReLU, 임계값, ReP를 사용한다.
• 라플라스 변환의 파rameter에서 직접 네트워크 가중치와 구조를 유도함으로써 확률적 최적화를 피한다.
• 적절한 아핀 부분공간의 기저를 선택함으로써 희소 연결성을 유도함으로써 네트워크의 폭을 감소시켜 최악의 경우 복잡도의 지수적 증가를 완화한다.

실험 결과

연구 질문

• RQ1 균일한 사전 확률 하에서 희소 벡터의 최적 MMSE 추정기는 학습 없이 딥 네트워크로 구현될 수 있는가?
• RQ2 왜 ReLU, 임계값, ReP 활성화 함수가 이러한 네트워크의 분석적 구성 과정에서 자연스럽게 나타나는가?
• RQ3 단형과 아핀 부분공간의 교차로 형성된 다면체의 중심은 라플라스 변환을 사용하여 어떻게 분석적으로 계산할 수 있는가?
• RQ4 측정값의 수와 최적 신경망 아키텍처의 깊이 사이의 관계는 무엇인가?
• RQ5 분석적 네트워크는 특정 데이터셋에서의 토닝을 위한 강력한 초기화로 활용될 수 있는가?

주요 결과

• 제안된 네트워크는 라플라스 변환을 사용하여 탇형 제약을 가진 희소 벡터에 대해 타당 다면체의 중심을 분석적으로 계산함으로써 최적의 MMSE 추정을 달성한다.
• 네트워크의 깊이는 정확히 측정값의 수 M과 동일하며, 이는 희소 신호에 대한 저지연 복원을 가능하게 한다.
• 네트워크 아키텍처와 파rameter는 학습 없이 볼록 기하학과 라플라스 변환 항등식에 기반하여 폐쇄형으로 유도된다.
• ReLU, 임계값, ReP 활성화 함수의 사용은 이론적으로 정당화되며, 이는 라플라스 변환 역행렬 과정에서 자연스럽게 유도되기 때문이다.
• 최악의 경우 네트워크 폭은 지수적으로 증가하지만, 적절한 아핀 부분공간의 기저를 선택함으로써 희소 연결성을 유도함으로써 이를 감소시킬 수 있다.
• 분석적 구성은 실제 데이터셋에서의 토닝을 위한 실용적인 초기화를 제공하며, 표준 벤치마크에서의 소프트 분류 벡터에서 이를 입증하였다.