[논문 리뷰] Learned D-AMP: Principled Neural Network based Compressive Image Recovery

Christopher A. Metzler, Ali Mousavi외 1명|arXiv (Cornell University)|2017. 04. 21.

Sparse and Compressive Sensing Techniques인용 수 192

한 줄 요약

LDAMP는 D-AMP 알고리즘을 denoising CNN 기반의 트레이닝 가능한 신경망으로 언롤링하며; BM3D-AMP 및 NLR-CS에 비해 정확도가 높고 런타임이 훨씬 빠르다(테스트된 매트릭스들에 대해).

ABSTRACT

Compressive image recovery is a challenging problem that requires fast and accurate algorithms. Recently, neural networks have been applied to this problem with promising results. By exploiting massively parallel GPU processing architectures and oodles of training data, they can run orders of magnitude faster than existing techniques. However, these methods are largely unprincipled black boxes that are difficult to train and often-times specific to a single measurement matrix. It was recently demonstrated that iterative sparse-signal-recovery algorithms can be "unrolled" to form interpretable deep networks. Taking inspiration from this work, we develop a novel neural network architecture that mimics the behavior of the denoising-based approximate message passing (D-AMP) algorithm. We call this new network Learned D-AMP (LDAMP). The LDAMP network is easy to train, can be applied to a variety of different measurement matrices, and comes with a state-evolution heuristic that accurately predicts its performance. Most importantly, it outperforms the state-of-the-art BM3D-AMP and NLR-CS algorithms in terms of both accuracy and run time. At high resolutions, and when used with sensing matrices that have fast implementations, LDAMP runs over $50 imes$ faster than BM3D-AMP and hundreds of times faster than NLR-CS.

연구 동기 및 목표

• principled iterative 아이디어와 데이터 기반 학습의 결합으로 압축 영상 복구 개선 동기화
• D-AMP/D-IT를 흉내 내고 학습 가능한 노이저를 사용하는 신경망 아키텍처 개발
• LDAMP에 대한 학습 전략 및 이론적 지원(상태 진화) 제공
• 다양한 매트릭스 유형과 해상도에서 기존 방법에 비해 LDAMP의 성능 우위 시연

제안 방법

• D-AMP/D-IT 반복을 다층 신경망(LDAMP)으로 언롤링
• 각 층에 DnCNN 기반의 노이저를 도입하여 자연 이미지 선호 prior를 강제
• 각 반복에서 AWGN 유사한 유효 노이즈를 유지하기 위해 Onsager 보정 사용
• 레이어별로 노이저 가중치만 학습하도록 하고 엔드-투-엔드, 레이어-by-레이어, 노이저별-노이저 학습 등 다양한 변형 적용
• LDAMP 성능을 예측하는 휴리스틱으로 상태 진화를 사용
• 手로 설계된(TVAL3) 및 다른 학습 기반 방법(BM3D-AMP, NLR-CS)과의 비교

실험 결과

연구 질문

• RQ1 principled한 동작을 보존하면서 D-AMP/D-IT 반복을 학습 가능한 신경망 레이어에 어떻게 매핑할 수 있는가?
• RQ2 LDAMP가 서로 다른 측정 행렬 및 노이즈 수준에서 일반화되는가?
• RQ3 LDAMP에 대해 이론적으로 MMSE 최적의 학습 전략(엔드-투-엔드 vs 레이어-별 vs 노이저-별)은 무엇인가?
• RQ4 LDAMP가 정확도와 속도 면에서 최첨단 CS 복구 알고리즘과 어떻게 비교되는가?
• RQ5 상태 진화가 실제로 LDAMP 성능을 예측할 수 있는가?

주요 결과

• LDAMP는 테스트된 설정에서 PSNR 및 실행 시간 면에서 BM3D-AMP 및 NLR-CS를 능가한다.
• 가우시안 및 코드화된 회절 측정에서 LDAMP는 더 높은 PSNR과 현저히 빠른 런타임을 달성하며(예: 고해상도에서 BM3D-AMP보다 최대 50배 빠름) 경쟁자보다 우수한 성능을 보인다.
• 레이어-별 학습 및 노이저-별 학습은 LDAMP에 대해 MMSE-최적이며, 성능 면에서 엔드-투-엔드 학습과 동등하거나 더 우수하게 만든다.
• 상태 진화는 i.i.d. 가우시안 A 및 잡음 가정 하에서 LDAMP의 중간 MSE를 정확히 예측한다.
• 한 개의 샘플링 속도에서 학습된 LDAMP는 노이저-별 학습을 사용할 때 다른 샘플링 속도에서도 잘 일반화된다.
• LDAMP는 서로 다른 측정 매트릭스 및 스케일에서도 효과적이며(예: 128x128 이상 해상도) 빠른 순방향/역방향 연산자를 활용한다