[논문 리뷰] A Local Block Coordinate Descent Algorithm for the Convolutional Sparse Coding Model

Ev Zisselman, Jeremias Sulam외 1명|arXiv (Cornell University)|2018. 11. 01.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 국소 블록 좌표 강하(LoBCoD)를 제안하며, 보조 변수와 ADMM 파라미터가 필요 없는, 이미지 패치에 국소적으로 작용하는 블록 좌표 강하를 사용하는 컨volutional sparse coding(CSC)를 위한 새로운 알고리즘이다. 이 알고리즘은 푸리에 도메인 ADMM 방법보다 더 빠른 수렴 속도와 낮은 메모리 사용량을 바탕으로 이미지 복원 및 다중 초점 융합에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The Convolutional Sparse Coding (CSC) model has recently gained considerable traction in the signal and image processing communities. By providing a global, yet tractable, model that operates on the whole image, the CSC was shown to overcome several limitations of the patch-based sparse model while achieving superior performance in various applications. Contemporary methods for pursuit and learning the CSC dictionary often rely on the Alternating Direction Method of Multipliers (ADMM) in the Fourier domain for the computational convenience of convolutions, while ignoring the local characterizations of the image. A recent work by Papyan et al. suggested the SBDL algorithm for the CSC, while operating locally on image patches. SBDL demonstrates better performance compared to the Fourier-based methods, albeit still relying on the ADMM. In this work we maintain the localized strategy of the SBDL, while proposing a new and much simpler approach based on the Block Coordinate Descent algorithm - this method is termed Local Block Coordinate Descent (LoBCoD). Furthermore, we introduce a novel stochastic gradient descent version of LoBCoD for training the convolutional filters. The Stochastic-LoBCoD leverages the benefits of online learning, while being applicable to a single training image. We demonstrate the advantages of the proposed algorithms for image inpainting and multi-focus image fusion, achieving state-of-the-art results.

연구 동기 및 목표

• 푸리에 도메인 ADMM 방법의 한계를 해결하기 위해, 보조 변수가 필요하고 메모리 사용량이 많으며 조정하기 어려운 파라미터에 의존하는 CSC 문제를 다루기 위해.
• 패치 기반 스파스 코딩의 비최적성 문제를 극복하기 위해, 컨volutional sparse coding(CSC) 프레임워크를 통해 전역 모델링을 가능하게 하기 위해.
• 직접 신호 도메인에서 블록 좌표 강하를 사용하여 국소적이고 ADMM이 아닌 접근 방식을 개발함으로써, 계산 효율성과 수렴 속도를 향상시키기 위해.
• 단일 이미지 딕셔너리 학습을 위한 온라인 학습을 가능하게 하는 스트로스티크 그래디언트 변종인 Stochastic-LoBCoD를 도입하기 위해.
• SBDL 및 [21]을 포함한 최신 기술 대비 이미지 복원 및 다중 초점 융합에서 더 뛰어난 성능을 보여주기 위해.

제안 방법

• LoBCoD를 제안하며, 이미지 도메인 내 국소 계산만을 사용하여 로컬 스파스 표현과 컨volution 필터 간에 번갈아가며 최적화하는 블록 좌표 강하 알고리즘이다.
• 보조 변수와 ADMM 파라미터를 피하기 위해, 겹치는 이미지 패치에서 직접 CSC 목적 함수를 좌표 강하를 통해 최소화한다.
• 각 패치를 고정된 딕셔너리로 독립적으로 처리한 후, 컨볼루션 합성에 의해 전역 재구성하는 국소적 추적 전략을 사용한다.
• 작은 배치를 단일 훈련 이미지에서 가져와 컨볼루션 필터를 업데이트하는 스트로스티크 그래디언트 강하 변종인 Stochastic-LoBCoD를 도입한다.
• 두 단계의 번갈아 최적화를 적용한다: LoBCoD를 사용한 스파스 추적과 $\lambda=1$ 및 $\mu=5$ 파라미터를 가진 복구 커널 $U_s$를 통한 기본 이미지 추출.
• 다중 초점 융합을 위해 라이브러리 색상 공간에서 국소 스파arsity와 활성도 지도를 활용하며, 각 채널의 최대 픽셀 단위 활성도 기반으로 영역을 선택한다.

실험 결과

연구 질문

• RQ1 보조 변수와 조정이 필요한 파라미터 없이도, ADMM 기반 방법보다 성능이 뛰어난 블록 좌표 강하 접근 방식이 CSC 추적에서 성능을 뛰어나게 할 수 있는가?
• RQ2 국소적이고 ADMM이 아닌 알고리즘은 푸리에 도메인 ADMM 방법보다 더 높은 메모리 효율성과 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 LoBCoD의 스트로스티크 그래디언트 변종은 단일 이미지에서 효과적인 온라인 딕셔너리 학습을 가능하게 하는가?
• RQ4 LoBCoD는 PSNR와 시각적 품질 측면에서 최신 기술 대비 이미지 복원 및 다중 초점 융합에서 어떻게 성능을 냈는가?
• RQ5 LoBCoD의 국소적 패치 기반 전략은 계산 가능성을 유지하면서도 전역 이미지 구조를 얼마나 잘 유지하는가?

주요 결과

• Bird 이미지 융합 작업에서 LoBCoD는 39.81 dB의 PSNR를 달성했으며, 이는 이전 방법 [21]이 달성한 39.29 dB를 초월한다.
• Butterfly 이미지에서 제안된 방법은 특히 매우 흐린 영역에서 더 선명한 디테일과 덜 흐릿한 결과를 보이며, [21]에 비해 뚜렷한 시각적 우수성을 보였다.
• 합성 데이터의 경우 높은 PSNR 값을 기록했다: Barbara에서 38.45 dB, Butterfly에서 37.68 dB로, 강건한 재구성 성능를 입증했다.
• 스파스 추적과 기본 이미지 추출 간 2~4회의 번갈아 수렴 반복만으로도 알고리즘이 수렴함을 보여, 매우 빠른 수렴 속도를 가짐을 시사한다.
• Stochastic-LoBCoD는 단일 이미지에서 효과적인 딕셔너리 학습을 가능하게 하며, 대규모 데이터셋이 필요 없이 온라인 학습의 이점을 유지한다.
• ADMM 기반 접근 방식에 비해 국소적이고 변수가 없는 최적화 전략 덕분에 더 뛰어난 메모리 효율성과 병렬 처리 가능성도 보였다.