[논문 리뷰] Compressed Learning: A Deep Neural Network Approach

Amir Adler, Michael Elad외 1명|arXiv (Cornell University)|2016. 10. 30.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 53

한 줄 요약

이 논문은 이미지 분류를 위한 압축 감지 행렬과 비선형 추론 연산자를 동시에 최적화하는 엔드 투 엔드 딥 뉴럴 네트워크를 제안하며, 최신 기술보다 뚜렷이 뛰어난 성능을 보인다. 1% 감지 비율(8개 측정값)에서 MNIST에 대해 6.46%의 분류 오차를 기록했으며, 고정된 감지 행렬을 사용하는 이전 딥 러닝 접근 방식의 41.06%보다 훨씬 우수하다.

ABSTRACT

Compressed Learning (CL) is a joint signal processing and machine learning framework for inference from a signal, using a small number of measurements obtained by linear projections of the signal. In this paper we present an end-to-end deep learning approach for CL, in which a network composed of fully-connected layers followed by convolutional layers perform the linear sensing and non-linear inference stages. During the training phase, the sensing matrix and the non-linear inference operator are jointly optimized, and the proposed approach outperforms state-of-the-art for the task of image classification. For example, at a sensing rate of 1% (only 8 measurements of 28 X 28 pixels images), the classification error for the MNIST handwritten digits dataset is 6.46% compared to 41.06% with state-of-the-art.

연구 동기 및 목표

• 압축 학습에서 고정된 사전 정의된 감지 행렬의 한계를 해결하기 위해 추론 네트워크와 함께 감지 행렬을 공동 최적화할 수 있도록 한다.
• 신호 재구축이 필요하지 않은 압축 감지 환경에서 분류 정확도를 향상시키며, 추론 성능에 집중한다.
• 감지 및 추론 구성 요소를 함께 훈련하는 엔드 투 엔드 접근 방식이 분리된 접근 방식보다 뛰어난 성능을 낼 수 있음을 보여준다.
• 특히 저감지 비율에서 최신 기술 수준의 성능을 달성한다.
• 딥 네트워크 아키텍처를 사용하여 감지와 분류를 하나의 훈련 가능한 모델로 통합하고, MNIST 데이터셋을 통해 방법의 타당성을 검증한다.

제안 방법

• 학습 가능한 가중치를 가진 완전 연결 층을 사용하여 감지 행렬 $\widetilde{\Phi}$ 를 학습하며, 기존의 고정된 감지 행렬을 대체한다.
• 감지 층의 출력은 비선형성을 도입하기 위해 ReLU 활성화 함수를 통과시킨다.
• 학습 가능한 가중치 $\widetilde{\Psi}$ 를 가진 두 번째 완전 연결 층이 측정값을 원래 이미지 차원으로 다시 매핑하며, 재구성된 입력 $\mathbf{z} = \max(0, \widetilde{\Psi} \max(0, \widetilde{\Phi} \mathbf{x}))$ 를 형성한다.
• 이 재구성된 입력은 LeNet을 모델로 삼은 컨볼루션 신경망을 거친다. 이에는 컨볼루션 레이어, ReLU 활성화 함수, 최대 풀링 레이어가 포함된다.
• 최종 분류는 MNIST 숫자 클래스 10개에 대응하는 10개의 출력을 가진 소프트맥스 레이어에서 수행된다.
• 전체 네트워크는 확률적 경사 하강법을 사용하여 엔드 투 엔드로 훈련되며, 감지 및 추론 구성 요소를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에서 감지 행렬과 추론 네트워크를 공동 최적화하면 압축 학습에서 분류 정확도가 향상되는가?
• RQ2 압축 이미지 분류에서 고정된 표준 감지 행렬을 사용하는 것과 비교해, 감지 및 추론 단계를 엔드 투 엔드로 훈련하는 것이 어떤 성능 차이를 낼 수 있는가?
• RQ3 학습 가능한 감지 행렬을 사용할 경우 초저속 감지 비율(예: 1%)에서 어떤 성능 향상이 달성될 수 있는가?
• RQ4 감지 행렬이 사전에 정의되지 않고 훈련 중에 학습되는 경우, 제안된 아키텍처가 높은 정확도를 유지할 수 있는가?
• RQ5 제안된 방법은 스매시드 필터나 CNN를 사용한 랜덤 감지와 같은 기존 최신 기술보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 감지 비율 1%에서(28×28 MNIST 이미지에 대해 8개 측정값), 제안된 방법은 분류 오차 6.46%를 기록했다.
• 이것은 동일한 비율에서 랜덤 감지 행렬과 CNN를 사용하는 최신 기술 방법의 41.06% 오차보다 뚜렷한 향상이다.
• 더 낮은 감지 비율에서 성능 격차는 더욱 벌어진다: 5% 비율에서 제안된 방법은 2.86% 오차를 기록했고, 이는 이전 최신 기술의 5.18%보다 우수하다.
• 25% 감지 비율에서도 제안된 방법은 1.56% 오차를 기록했으며, 스매시드 필터 방법(27.42%)과 랜덤 감지 + CNN 접근 방식(1.63%)을 모두 초월한다.
• 감지 및 추론 구성 요소의 공동 최적화는 모든 테스트 감지 비율에서 일관된 성능 향상을 이끌어내며, 특히 저비율에서 가장 큰 향상이 이루어진다.
• 훈련 후에 학습된 감지 행렬을 분리할 수 있어, 최적화된 측정 획득을 위한 별도의 압축 감지 장치로의 구현이 가능하다.