[논문 리뷰] Efficient Two-Dimensional Sparse Coding Using Tensor-Linear Combination

Fei Jiang, Xiaoyang Liu외 2명|arXiv (Cornell University)|2017. 03. 28.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 7

한 줄 요약

이 논문은 이미지를 텐서-선형 조합을 사용하여 원형 컨volution을 통해 공간적 구조를 유지하고 사전 크기를 줄이는 텐서 기반 희소 코딩 프레임워크인 이차원 희소 코딩(2DSC)을 제안한다. 텐서 곱 연산과 효율적인 주파수 도메인 최적화를 활용하여, 최신 기술 대비 낮은 계산 비용으로 경쟁적인 다중 스펙트럼 영상 노이즈 제거 성능을 달성한다. 특히 고노이즈 수준에서 뛰어난 성능을 보인다.

ABSTRACT

Sparse coding (SC) is an automatic feature extraction and selection technique that is widely used in unsupervised learning. However, conventional SC vectorizes the input images, which breaks apart the local proximity of pixels and destructs the elementary object structures of images. In this paper, we propose a novel two-dimensional sparse coding (2DSC) scheme that represents the input images as the tensor-linear combinations under a novel algebraic framework. 2DSC learns much more concise dictionaries because it uses the circular convolution operator, since the shifted versions of atoms learned by conventional SC are treated as the same ones. We apply 2DSC to natural images and demonstrate that 2DSC returns meaningful dictionaries for large patches. Moreover, for mutli-spectral images denoising, the proposed 2DSC reduces computational costs with competitive performance in comparison with the state-of-the-art algorithms.

연구 동기 및 목표

• 벡터화된 입력으로 인해 국소 픽셀 간의 근접성을 파괴하고, 계산 복잡도가 높아지는 전통적인 희소 코딩의 한계를 해결하기 위해.
• 벡터화를 피함으로써 영상 구조를 유지하는 더 효율적이고 컴팩트한 사전 학습 방법을 개발하기 위해.
• 특히 큰 패치와 다중 스펙트럼 영상에 대해 고차원 영상 데이터 처리에서 계산 비용을 줄이기 위해.
• 텐서 기반 연산을 통해 더 작고 더 의미 있는 사전을 사용하여 효과적인 희소 표현과 노이즈 제거를 가능하게 하기 위해.
• 최신 기술 대비 경쟁적이거나 더 우수한 성능을 보이며 다중 스펙트럼 영상 노이즈 제거에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 입력 영상을 제3차 텐서로 표현하고, 터커 분해나 컨볼루션 대신 텐서-선형 조합을 사용하는 새로운 2DSC 모델을 제안한다.
• 이동 불변성을 확보하기 위해 원형 컨볼루션 연산자를 사용하여, 원자들의 이동된 형태를 동일시함으로써 사전 크기를 줄인다.
• 텐서 곱 기반의 새로운 반복적 수축 임계값 알고리즘을 도입하여 텐서 공간 내에서 직접 희소 계수 학습을 수행한다.
• 사전 학습 문제를 주파수 도메인에서 라그랑주 이중 문제로 변환하여 변수 수를 크게 줄이고 최적화 속도를 향상시킨다.
• 희소 코딩과 사전 학습 단계를 번갈아 최소화하며, 주파수 도메인에서의 효율적 갱신을 통해 확장성 확보한다.
• 패치 기반 텐서 표현과 적응형 정규화를 사용한 반복 학습을 통해 자연 영상과 다중 스펙트럼 영상에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 전통적인 벡터화된 희소 코딩에 비해 텐서 기반 희소 코딩 모델이 국소 영상 구조를 더 잘 유지할 수 있는가?
• RQ2 원형 컨볼루션을 사용한 텐서-선형 조합이 사전 크기와 계산 비용을 줄이면서도 표현 품질을 유지하거나 향상시킬 수 있는가?
• RQ3 제안된 2DSC 방법이 최신 알고리즘에 비해 다중 스펙트럼 영상 노이즈 제거에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 기존 SC가 실패하는 큰 영상 패치에서도 2DSC가 의미 있는 과잉완성 사전을 학습할 수 있는가?
• RQ5 주파수 도메인 이중 공식화가 고차원 텐서 공간에서의 사전 학습 가속화에 효과적인가?

주요 결과

• 2DSC는 기존 SC가 성능이 크게 저하되는 큰 패치(32×32)에서도 의미 있는 가보르 유사 특징을 학습한다.
• 다중 스펙트럼 영상 노이즈 제거에서 2DSC는 모든 노이즈 수준에서 가장 높은 SSIM 점수를 기록하며, BwK-SVD, 3DK-SVD, LRTA, PARAFAC, TenSR를 모두 앞선다.
• 고노이즈 수준(σ=30 및 σ=50)에서 2DSC는 가장 높은 PSNR 결과를 기록했으며, σ=50일 때 34.46 dB로 LRTA와 TenSR를 초월한다.
• 그림 5의 시각적 결과는 2DSC가 특히 무늬 영역에서 최소한의 잡음과 왜곡을 가진 가장 깨끗한 재구성을 제공함을 확인한다.
• 제안된 주파수 도메인 이중 최적화 방법은 계산 복잡도를 감소시켜 고해상도 다중 스펙트럼 영상에서의 효율적 학습을 가능하게 한다.
• 2DSC가 학습한 사전는 기존 SC와 동일한 합공간을 커버하지만, 기저 수가 현저히 적어 더 강력한 표현 효율성을 보인다.