[논문 리뷰] Learning $\ell_1$-based analysis and synthesis sparsity priors using bi-level optimization

Yunjin Chen, Thomas Pock외 1명|arXiv (Cornell University)|2014. 01. 16.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 암시적 미분을 사용하여 분석 연산자 $β_1$ 기반과 복원 사전을 동시에 학습할 수 있는 통합된 이중 최적화 프레임워크를 제안한다. 이 방법은 $µ_1$ 기반 비특화적 방법 중 최고 성능을 기록하며, 분석 스parserity 사전이 복원 사전보다 뚜렷이 뛰어나다.

ABSTRACT

We consider the analysis operator and synthesis dictionary learning problems based on the the $\ell_1$ regularized sparse representation model. We reveal the internal relations between the $\ell_1$-based analysis model and synthesis model. We then introduce an approach to learn both analysis operator and synthesis dictionary simultaneously by using a unified framework of bi-level optimization. Our aim is to learn a meaningful operator (dictionary) such that the minimum energy solution of the analysis (synthesis)-prior based model is as close as possible to the ground-truth. We solve the bi-level optimization problem using the implicit differentiation technique. Moreover, we demonstrate the effectiveness of our leaning approach by applying the learned analysis operator (dictionary) to the image denoising task and comparing its performance with state-of-the-art methods. Under this unified framework, we can compare the performance of the two types of priors.

연구 동기 및 목표

• 단일 이중 최적화 프레임워크 내에서 분석 연산자와 복원 사전의 학습을 통합한다.
• $µ_1$ 정규화의 맥락에서 분석 및 복원 스parserity 사전 간 체계적 비교의 부재를 해결한다.
• 분석 연산자에 대한 비볼록 제약 조건이 없도록 스케일링 가능하고 볼록적인 학습 접근법을 개발한다.
• 자연 영상 데이터로부터 의미 있는 스parserity 사전을 학습하여 영상 복원 성능을 향상시킨다.

제안 방법

• 하위 최적화 문제는 $µ_1$-정규화된 에너지 함수를 최소화하고, 상위 최적화 문제는 재구성 오차를 최소화하도록 분석 연산자 $A$와 복원 사전 $D$를 최적화하는 방식으로 영상 복원 문제를 이중 최적화로 공식화한다.
• 상위 최적화 목표 함수의 $A$ 및 $D$에 대한 기울기를 암시적 미분을 통해 계산하여 엔드 투 엔드 학습을 가능하게 한다.
• 슬라이딩 윈도우 컨volution 형식을 사용하여 局소 패치 기반 분석 연산자 $A$에서 전역 분석 연산자 $\mathcal{A}$를 구성한다.
• 유도된 기울기를 사용하여 상위 최적화 문제를 Quasi-Newton 방법(L-BFGS)으로 해결한다.
• 분석 및 복원 모델 모두에 데이터 적합성 항과 $µ_1$-노름 정규화를 하나의 에너지 함수에 통합한다.
• 학습된 원소에 평균 제로 조건을 강제하기 위해 DCT 기반 초기화를 사용하여 안정성과 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 분석 및 복원 스parserity 사전는 통합된 이중 최적화 프레임워크 하에서 함께 학습될 수 있는가?
• RQ2 $µ_1$ 기반 분석 사전의 성능은 $µ_1$ 기반 복원 사전보다 어떻게 다를까?
• RQ3 제안된 방법은 BM3D 및 K-SVD와 같은 최신 복원 알고리즘과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 분석 연산자에 비볼록 제약 조건이 없을 경우 더 안정적이고 효과적인 학습이 이루어지는가?
• RQ5 암시적 미분을 통해 분석 및 복원 사전를 유연하고 확장 가능한 방식으로 효과적으로 학습할 수 있는가?

주요 결과

• $σ=25$일 때 68幅 테스트 이미지에서 $µ_1$ 기반 분석 모델은 평균 PSNR 27.78을 기록하며, 전체 제약 조건(TV) 방법(26.72)과 K-SVD 복원 방법(27.93)을 모두 능가한다.
• 분석 사전는 복원 사전보다 뚜렷이 뛰어나며, 후자는 단지 27.32 PSNR를 기록하여 자연 영상에 대한 복원 스parserity 모델링의 본질적 한계를 보여준다.
• 제안된 방법은 $µ_0$ 기반 K-SVD 방법과 유사한 성능을 기록하여, $µ_1$ 기반 분석 사전가 더 복잡한 $µ_0$ 기반 모델에 근접한 성능을 달성할 수 있음을 시사한다.
• 분석 모델은 고정된 사전을 사용하는 표준 $µ_1$ 기반 방법인 TV 기반 복원보다 일관되게 뛰어나며, 학습된 사전의 우수성을 확인한다.
• 초기 결과에 따르면 비볼록 페널티($\log(1+|z|)$)를 적용할 경우 성능 향상이 가능할 것으로 보이며, BM3D 수준에 도달할 수 있을 것으로 예상되나, 이는 쌍대성 상실로 인해 향후 연구가 필요하다.