[논문 리뷰] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

Jian Zhang, Bernard Ghanem|arXiv (Cornell University)|2017. 06. 24.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 이미지 압축 센싱(CS) 복원을 위한 딥러닝 아키텍처인 ISTA-Net을 제안한다. 이는 반복적 수축-임계처리 알고리즘(ISTA)에 영감을 받은 것으로, 비선형 희박화 변환과 학습 가능한 파rameter(단계 크기, 임계값, 변환)를 갖는 가역적이고 엔드 투 엔드로 미분 가능한 ISTA의 구조로 네트워크를 구성함으로써, 빠른 추론과 함께 기존의 최적화 기반 및 네트워크 기반 방법보다 뛰어난 복원 품질을 달성한다.

ABSTRACT

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general $\ell_1$ norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (\eg nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed {ISTA-Net}$^+$, is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and network-based CS methods by large margins, while maintaining fast computational speed. Our source codes are available: extsl{http://jianzhang.tech/projects/ISTA-Net}.

연구 동기 및 목표

• 기존 최적화 기반 CS 방법과 현대적인 딥러닝 기반 접근법 사이의 격차를 메우기 위해 두 방법의 장점을 융합한다.
• 최적화 알고리즘의 해석 가능성은 유지하면서도 학습 모델의 속도와 정확도를 달성하는 딥 네트워크 아키텍처를 개발한다.
• 수동으로 설계하지 않고도 단계 크기, 임계값, 비선형 변환을 포함한 모든 파rameter를 엔드 투 엔드로 학습할 수 있도록 한다.
• 잔차 영역 변형인 ISTA-Net+를 통해 이미지 잔차를 명시적으로 모델링함으로써 복원 정밀도를 향상시킨다.
• 딥 CS 네트워크에서 비선형 희박화 변환에 대한 프록시 맵핑 문제를 위한 일반적이고 효율적인 솔루션을 제공한다.

제안 방법

• 네트워크는 고정된 수의 단계로 구성되며, 각 단계는 정확히 ISTA 알고리즘의 한 반복에 해당하여 해석 가능성을 보장한다.
• 고정된 선형 변환 대신 비선형이고 학습 가능한 희박화 변환을 사용하며, 비선형성과 향상된 표현 능력을 확보하기 위해 ReLU 기반 아키텍처를 채택한다.
• 비선형 변환과 관련된 프록시 맵핑을 효율적으로 해결하기 위한 새로운 전략을 개발하여 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 각 단계의 전방 및 역방향 변환은 대칭성 조건을 만족하도록 설계되어, 그 조합이 항등 연산자에 근접하도록 보장한다.
• 모든 파rameter(단계 크기(ρ), 임계값(θ), 변환 파rameter(T))는 백프로파게이션을 통해 공동으로 학습된다.
• ISTA-Net+는 재구성된 이미지의 잔차에 네트워크를 적용하여 잔차 희박화와 스킵 연결을 통해 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 최적화 알고리즘(예: ISTA)의 반복적 구조를 명시적으로 반영하면서도 모든 파rameter의 엔드 투 엔드 학습이 가능한 딥 네트워크를 설계할 수 있는가?
• RQ2 변환 레이어에 ReLU를 도입함으로써 비선형성을 도입할 경우, 딥 CS 네트워크의 성능과 안정성에 어떤 영향을 미치는가?
• RQ3 네트워크 단계 간 파rameter 공유가 모델 복잡도를 줄이되 복원 품질을 손상시키지 않고 어느 정도까지 가능할 수 있는가?
• RQ4 이미지 자체가 아닌 재구성된 이미지의 잔차를 희박화하는 것이 CS 복원 성능 향상에 기여하는가?
• RQ5 딥 CS 네트워크에서 비선형 희박화 변환에 대한 프록시 맵핑 문제를 해결하기 위한 일반적이고 효율적인 방법을 개발할 수 있는가?

주요 결과

• ISTA-Net은 다양한 데이터셋과 CS 비율에서 최신 기술(SOTA) 수준의 PSNR 성능를 달성하며, 최적화 기반 및 네트워크 기반 방법을 모두 능가한다.
• 25% CS 비율에서 Set11에서 ISTA-Net+는 38.73 dB의 PSNR를 기록하여 기준 ISTA-Net 및 기타 SOTA 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 변환 레이어에 도입된 ReLU에 의한 비선형성은 핵심적이다: ReLU를 제거할 경우 훈련 성능이 현저히 열악하고 불안정해진다.
• 각 단계별로 독립된 파rameter를 갖는 비공유 버전의 ISTA-Net+(25% CS 비율에서 Set11 기준 32.57 dB)가 가장 뛰어난 성능를 기록하여 파rameter의 유연성의 이점이 입증되었다.
• 변환 파rameter(T)만 단계 간 공유할 경우, 완전히 공유한 파rameter보다 0.57 dB 향상되었으며, 파라미터 수가 37,458개에 불과함에도 불구하고 경쟁 가능한 성능를 달성했다.
• 제안된 방법은 빠른 추론 속도를 유지하며, 25% CS 비율에서 ISTA-Net+는 이미지당 0.1437초 내로 복원을 완료하여 반복 최적화 방법보다 뚜렷이 빠르다.