[논문 리뷰] Convolutional Sparse Coding with Overlapping Group Norms

Brendt Wohlberg|arXiv (Cornell University)|2017. 08. 29.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 공간적 및 필터 차원을 관통하는 구조적 스파arsity를 유도하기 위해 겹치는 그룹 노름—특히 ℓ₁,∞ 및 ℓ₁,₂ 노름—을 사용하는 컨volution 스파스 코딩(CSC)을 위한 새로운 알고리즘을 제안한다. 강력한 이론적 동기가 있음에도 불구하고 실험 결과, 이 노름들은 가우시안 노이즈 제거에서 표준 ℓ₁ 정규화보다 성능이 열 劣하다. 그러나 적응형 가중치 전략을 도입함으로써 성능이 크게 향상되며, 이는 ℓ₁ CSC의 성능을 패치 기반 방법과 경쟁 가능하거나 이를 초월하도록 개선한다.

ABSTRACT

The most widely used form of convolutional sparse coding uses an $\ell_1$ regularization term. While this approach has been successful in a variety of applications, a limitation of the $\ell_1$ penalty is that it is homogeneous across the spatial and filter index dimensions of the sparse representation array, so that sparsity cannot be separately controlled across these dimensions. The present paper considers the consequences of replacing the $\ell_1$ penalty with a mixed group norm, motivated by recent theoretical results for convolutional sparse representations. Algorithms are developed for solving the resulting problems, which are quite challenging, and the impact on the performance of the denoising problem is evaluated. The mixed group norms are found to perform very poorly in this application. While their performance is greatly improved by introducing a weighting strategy, such a strategy also improves the performance obtained from the much simpler and computationally cheaper $\ell_1$ norm.

연구 동기 및 목표

• 모든 공간적 및 필터 차원을 동일하게 다루는 ℓ₁ 정규화의 한계를 보완하기 위해, 혼합 그룹 노름을 통한 구조적 스파arsity를 도입함으로써 CSC에서의 성능 향상을 도모한다.
• 이전에 다루지 않은 과제인 겹치는 그룹을 포함한 ℓ₁,∞ 및 ℓ₁,₂ 그룹 노름을 사용한 CSC 문제를 해결하기 위한 효율적인 최적화 알고리즘을 개발한다.
• 가우시안 화이트 노이즈 하에서 이미지 노이즈 제거라는 표준 벤치마크 문제를 대상으로, 이러한 그룹 노름 기반 CSC 방법의 성능을 실증적으로 평가한다.
• 그룹 노름을 통한 구조적 스파arsity가 실질적인 이미지 복원 작업에서 표준 ℓ₁ 기반 CSC를 능가할 수 있는지 탐구한다.
• 적응형 가중치 전략이 그룹 노름 기반 CSC의 성능 향상에 미치는 영향을 분석하며, 특히 가중치가 부여된 ℓ₁ 정규화와의 비교를 포함한다.

제안 방법

• 계수 맵의 공간적 및 필터 차원을 관통해 구조적 스파arsity를 유도하기 위해, 겹치는 그룹 노름—특히 ℓ₁,∞ 및 ℓ₁,₂—을 사용하는 컨volution 스파스 코딩의 새로운 공식을 제안한다.
• 겹치는 그룹을 포함한 비연속적이고 비분리 가능한 최적화 문제를 해결하기 위해, 전례 없이 도전적인 계산 문제를 해결하기 위한 특화된 ADMM 기반 알고리즘을 개발한다.
• 정규화를 보다 효과적으로 하기 위해 활동 측도(|Dᵀs|²)의 역수를 기반으로 한 가중치 전략을 도입하여, 상관성이 낮은 필터에 더 큰 페널티를 가한다.
• ADMM 프레임워크를 적용하여 최적화를 하위 문제로 분리하며, 이는 그룹 노름에 대한 셰일링 단계와 컨volution 연산을 포함한 데이터 일치 항을 포함한다.
• DFT 도메인을 활용해 수반 사전 연산(Dᵀs)을 효율적으로 계산함으로써, 가중치 전략의 빠른 구현을 가능하게 한다.
• 표준 이미지 노이즈 제거 벤치마크를 사용하여, σ=0.05의 가우시안 화이트 노이즈로 오염된 다섯 장의 테스트 이미지에서 제안된 방법을 검증한다.

실험 결과

연구 질문

• RQ1 겹치는 그룹 노름(ℓ₁,∞ 및 ℓ₁,₂)이 표준 ℓ₁ 정규화에 비해 이미지 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 겹치는 그룹 노름을 포함한 CSC 문제를 해결하는 데 있어 계산적 및 알고리즘적 과제는 무엇이며, 이를 효과적으로 해결할 수 있는가?
• RQ3 그룹 노름을 통한 구조적 스파arsity의 이론적 잠재력이 실제로 이미지 노이즈 제거 성능 향상으로 이어지는가?
• RQ4 적응형 가중치 전략이 그룹 노름 기반 CSC의 성능 향상에 크게 기여하는가? 또한, 이는 ℓ₁ 기반 CSC의 유사 전략과 어떻게 비교되는가?
• RQ5 그룹 노름 기반 CSC가 기존의 패치 기반 스파스 코딩 방법보다 우월하거나 동등한 성능을 내는 실질적인 시나리오가 존재하는가?

주요 결과

• ℓ₁,∞ 및 ℓ₁,₂ 그룹 노름 기반의 CSC 방법은 이미지 노이즈 제거에서 표준 ℓ₁ 정규화보다 유의미하게 열 劣하며, 평균적으로 PSNR 값이 1–2 dB 감소한다.
• ℓ₁,₂ 노름은 ℓ₁,∞보다 성능이 뛰어나지만 여전히 표준 ℓ₁ 노름의 성능을 따라잡지 못한다.
• |Dᵀs|⁻² 기반의 적응형 가중치 전략은 두 그룹 노름 방법의 성능을 크게 향상시키며, 이는 무가중치 ℓ₁ CSC 기준선에 가까이 또는 이를 초월하도록 한다.
• 가중치가 부여된 ℓ₁ 노름 방법은 'Barbara' 이미지에서 33.39 dB의 PSNR를 기록하여, 모든 그룹 노름 방법을 능가하고 패치 기반 OMP 방법의 성능과 동등하다.
• 겹치는 그룹 노름 기반 CSC를 위한 제안된 알고리즘은 계산적으로 부담스럽지만 실현 가능하며, 향후 노이즈 제거 이외의 응용 분야 탐색에 기여할 수 있다.
• 연구는 그룹 노름이 이론적으로는 매력적이지만, 효과적인 가중치 전략이 없이선 노이즈 제거 응용에서 실용적 유용성이 제한되어 있으며, 이는 더 단순한 ℓ₁ 접근 방식의 성능 향상에도 기여한다.