[논문 리뷰] The Sparse Recovery Autoencoder.

Shanshan Wu, Alexandros G. Dimakis외 6명|arXiv (Cornell University)|2018. 06. 26.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 ℓ₁ 복원기와 함께 종단간 훈련이 가능한 데이터 기반 희소 복원 오토인코더를 제안한다. 이는 전개된 투영 경사 하강법을 사용하여 희소성 이외의 데이터 구조를 고려한 선형 인코더를 학습한다. 이 방법은 실제 데이터셋의 숨겨진 구조를 활용하여 기존 최고 수준의 방법들보다 더 적은 측정 수로 훨씬 뛰어난 복원 품질을 달성한다.

ABSTRACT

Linear encoding of sparse vectors is widely popular, but is most commonly data-independent -- missing any possible extra (but a-priori unknown) structure beyond sparsity. In this paper we present a new method to learn linear encoders that adapt to data, while still performing well with the widely used $\ell_1$ decoder. The convex $\ell_1$ decoder prevents gradient propagation as needed in standard autoencoder training. Our method is based on the insight that unfolding the convex decoder into $T$ projected gradient steps can address this issue. Our method can be seen as a data-driven way to learn a compressed sensing matrix. Our experiments show that there is indeed additional structure beyond sparsity in several real datasets. Our autoencoder is able to discover it and exploit it to create excellent reconstructions with fewer measurements compared to the previous state of the art methods.

연구 동기 및 목표

• 희소 벡터 복원에서 데이터에 독립적인 선형 인코더의 한계를 해결하기 위해.
• 일반적으로 미분 불가능한 ℓ₁ 복원기를 가진 오토인코더의 기울기 기반 훈련을 가능하게 하기 위해.
• 실제 데이터셋에서 희소성 이외의 숨겨진 데이터 구조를 발견하고 활용하기 위해.
• 압축 감지에서 복원 정확도와 측정 효율을 향상시키기 위해.
• 종단간 훈련을 통해 학습 가능한 압축 감지 행렬을 개발하기 위해.

제안 방법

• ℓ₁ 복원기를 T단계의 투영 경사 하강 단계로 전개하여 기울기 역전파를 가능하게 한다.
• 각 투영 경사 하강 단계를 학습 가능한 레이어로 간주함으로써 오토인코더를 미분 가능한 아키텍처로 구성한다.
• 재구성 오차를 최소화하기 위해 백프로파게이션을 사용해 인코더를 종단간으로 훈련한다.
• 복원기는 ℓ₁ 최소화를 근사하기 위해 소프트 스위칭과 투영 연산의 시퀀스를 사용한다.
• 학습된 인코더는 데이터에 특화된 구조에 적응하여 더 적은 측정 수로 복원을 향상시킨다.
• 이 방법은 인코더와 복원기 구성 요소의 공동 최적화를 통해 데이터 기반 압축 감지 행렬을 효과적으로 학습한다.

실험 결과

연구 질문

• RQ1 학습 가능한 선형 인코더가 기존의 데이터에 독립적인 방법을 초월해 희소 복원을 향상시킬 수 있는가?
• RQ2 기울기 기반 최적화를 사용해 ℓ₁ 복원기를 가진 오토인코더를 훈련하는 것이 가능한가?
• RQ3 실제 세계 데이터에는 희소성 이외의 활용 가능한 구조가 존재하는가?
• RQ4 ℓ₁ 복원기를 경사 단계로 전개하는 것이 효과적인 종단간 훈련을 가능하게 하는가?
• RQ5 측정 효율성과 복원 품질 측면에서 제안된 방법은 최고 수준의 방법들과 어떻게 비교되는가?

주요 결과

• 제안된 오토인코더는 기존 최고 수준의 방법들보다 더 적은 측정 수로 더 뛰어난 복원 품질을 달성한다.
• 이 방법은 희소성 이외의 숨겨진 구조를 활용하는 데이터 적응형 선형 인코더를 성공적으로 학습한다.
• ℓ₁ 복원기를 투영 경사 단계로 전개함으로써 효과적인 역전파와 종단간 훈련이 가능해진다.
• 실제 데이터셋에 대한 실험을 통해 희소성 이외의 활용 가능한 구조가 존재하는 것으로 확인된다.
• 학습된 인코더는 복원 정확도를 유지하거나 향상시키면서 필요한 측정 수를 줄인다.
• 이 방법은 데이터에 특화된 패턴을 활용함으로써 압축 감지 작업에서 뛰어난 성능을 보여준다.