[논문 리뷰] Model-Aware Deep Architectures for One-Bit Compressive Variational Autoencoding

Shahin Khobahi, Mojtaba Soltanalian|arXiv (Cornell University)|2019. 11. 27.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 11

한 줄 요약

이 논문은 1비트 압축 측정에서 정확한 진폭 복원을 가능하게 하기 위해 감지 행렬,量子화 임계값, 잠재 매개변수를 동시에 학습하는 모델 인식 딥 아키텍처를 제안한다. 이 방법은 딥 언폴딩과 변분 자동차오더링 원리를 융합함으로써 기존의 모델 기반 및 데이터 기반 접근법에 비해 뛰어난 재구성 정확도와 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Parameterized mathematical models play a central role in understanding and design of complex information systems. However, they often cannot take into account the intricate interactions innate to such systems. On the contrary, purely data-driven approaches do not need explicit mathematical models for data generation and have a wider applicability at the cost of interpretability. In this paper, we consider the design of a one-bit compressive variational autoencoder, and propose a novel hybrid model-based and data-driven methodology that allows us not only to design the sensing matrix and the quantization thresholds for one-bit data acquisition, but also allows for learning the latent-parameters of iterative optimization algorithms specifically designed for the problem of one-bit sparse signal recovery. In addition, the proposed method has the ability to adaptively learn the proper quantization thresholds, paving the way for amplitude recovery in one-bit compressive sensing. Our results demonstrate a significant improvement compared to state-of-the-art model-based algorithms.

연구 동기 및 목표

• 고정되거나 0인 양자화 임계값으로 인해 기존 1비트 압축 측정 방법이 진폭 정보를 상실하는 한계를 해결하기 위해.
• 데이터 기반 및 모델 기반 원칙을 활용하여 측정 모듈(감지 행렬 및 임계값)과 재구성 네트워크(잠재 매개변수)를 동시에 최적화하는 공동 학습 프레임워크를 개발하기 위해.
• 변분 자동차오더링 아키텍처를 통해 적응형으로 양자화 임계값을 학습함으로써 1비트 CS에서 진폭 복원을 가능하게 하기 위해.
• 기존의 모델 기반 및 딥 러닝 기반 1비트 CS 알고리즘에 비해 계산 효율성과 재구성 정확도를 향상시키기 위해.
• 학습 중에 명시적인 희박성 수준 감독 없이도 다양한 희박성 수준 간의 일반화 능력을 입증하기 위해.

제안 방법

• 학습 데이터를 활용하여 감지 행렬 Φ와 양자화 임계값 b를 동시에 최적화하는 하이브리드 모델 기반 및 데이터 기반 변분 자동차오더링(VAE) 프레임워크를 제안한다.
• 딥 언폴딩 기법을 VAE에 통합하여 적응형 단계 크기 δi와 잠재 변수를 갖는 반복적 재구성 알고리즘(G-BIHT, LG-BIHT 등)을 학습한다.
• 잠재 변수에 대한 사후 분포를 학습하기 위해 변분 추론 목적 함수를 사용하여 감지 및 재구성 구성 요소의 엔드 투 엔드 학습을 가능하게 한다.
• 양자화 및 재구성 과정을 통해 역전파를 가능하게 하기 위해 1비트 일致성 제약 조건 r ⊙ (Φx − b) ⪰ 0의 미분 가능한 형태를 적용한다.
• 일致성과 희박성을 재구성 경로에서 강제하기 위해 볼록 장벽 함수를 통한 학습된 정규화 기법을 적용한다.
• 재구성 손실을 최소화하는 방식으로 모델을 훈련하며, 이 손실은 진짜 신호와 복원된 신호 간의 MSE를 최소화하고, 최적화 과정에 희박성 제약 조건을 통합한다.

실험 결과

연구 질문

• RQ1 공동으로 훈련된 딥 아키텍처가 고정되거나 0임계값 모델을 초월해 최적의 감지 행렬과 양자화 임계값을 학습할 수 있는가?
• RQ2 학습된 양자화 임계값이 단지 방향 복원이 아니라 진폭 복원을 얼마나 잘 가능하게 하는가?
• RQ3 딥 언폴딩과 변분 자동차오더링의 융합이 1비트 CS에서 재구성 정확도와 수렴 속도를 어떻게 향상시키는가?
• RQ4 제안된 방법은 학습 중에 명시적인 희박성 수준 감독 없이도 새로운 희박성 수준에 일반화되는가?
• RQ5 학습된 잠재 매개변수 최적화 방식(LG-BIHT 등)의 성능이 표준 모델 기반 알고리즘(RFPI 등)과 엔드 투 엔드 학습된 방법에 비해 어떻게 비교되는가?

주요 결과

• 제안된 LG-BIHT VAE 방법은 상태 최신 기술보다 유의미하게 낮은 MSE를 달성하며, 특히 K=16 및 K=24 희박성 수준에서 더 빠른 수렴 속도와 높은 정확도를 보인다.
• 학습된 감지 행렬과 임계값을 갖는 G-BIHT 알고리즘(Case 2)은 순수한 G-BIHT(Case 1)와 LG-RFPI VAE를 모두 초월하여 매개변수 학습의 효과성을 입증한다.
• LG-BIHT VAE는 LG-RFPI VAE보다 뛰어난 성능을 보이며, 단계 크기 δi와 잠재 변수의 엔드 투 엔드 학습이 재구성 품질을 향상시킨다는 것을 시사한다.
• 학습 중에 희박성 수준이 제공되지 않았음에도 불구하고 K=24에 대해 잘 일반화되어 있어 강건성과 적응성의 우수함을 보인다.
• 제안된 방법은 기존 방법이 신호 방향만 복원하는 데에 그치는 한계를 극복하기 위해 비영이면서 적응형인 양자화 임계값을 학습함으로써 1비트 CS에서 진폭 복원을 가능하게 한다.
• LG-BIHT 방법의 수렴 속도는 L-RFPI 방법보다 유의미하게 빠르며, 방향 복원 정확도는 비슷하거나 더 뛰어나다.