[논문 리뷰] FRIST - Flipping and Rotation Invariant Sparsifying Transform Learning and Applications

Bihan Wen, Saiprasad Ravishankar외 1명|arXiv (Cornell University)|2015. 11. 19.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 자연 이미지 패치를 공통 부모 변환을 통해 회전 및 뒤집기 연산을 통해 유도된 구조적 변환의 유니온을 모델링하는, 플립 및 회전 불변성 스퍼스라이징 변환 학습 프레임워크인 FRIST를 제안한다. 이 방법은 최적의 업데이트를 통해 효율적이고 수렴 가능한 최적화를 가능하게 하며, 스퍼스 이미지 표현, 노이즈 제거, 인painting, 압축 감도 MRI 재구성에서 뛰어난 성능을 보이며, PANO 및 TL-MRI와 같은 최신 기법들보다 최대 0.8 dB의 PSNR 향상을 달성한다.

ABSTRACT

Features based on sparse representation, especially using the synthesis dictionary model, have been heavily exploited in signal processing and computer vision. However, synthesis dictionary learning typically involves NP-hard sparse coding and expensive learning steps. Recently, sparsifying transform learning received interest for its cheap computation and its optimal updates in the alternating algorithms. In this work, we develop a methodology for learning Flipping and Rotation Invariant Sparsifying Transforms, dubbed FRIST, to better represent natural images that contain textures with various geometrical directions. The proposed alternating FRIST learning algorithm involves efficient optimal updates. We provide a convergence guarantee, and demonstrate the empirical convergence behavior of the proposed FRIST learning approach. Preliminary experiments show the promising performance of FRIST learning for sparse image representation, segmentation, denoising, robust inpainting, and compressed sensing-based magnetic resonance image reconstruction.

연구 동기 및 목표

• 특히 다수의 방향성을 가진 무늬를 포함한 다양한 이미지 특징을 스퍼스하게 표현하는 데에 한계가 있는 단일 적응형 변환의 문제를 해결한다.
• 여러 변환에 걸쳐 기하학적 대칭성(뒤집기 및 회전)을 강제하여 비구조적 변환 학습에서의 과적합을 줄인다.
• 이미지 패치 전반에 걸쳐 더 잘 일반화되는 구조적 스퍼스라이징 변환을 학습하기 위한 효율적이고 수렴 가능한 알고리즘을 개발한다.
• 학습된 FRIST를 정규화 요소로 사용하여 이미지 노이즈 제거, 인painting, 압축 감도 MRI 재구성과 같은 역문제에서 성능을 향상시킨다.

제안 방법

• 90도의 회전과 수평/수직 뒤집기 연산을 통해 단일 부모 변환에서 여러 변환을 생성하는 FRIST 모델을 정의한다.
• 부모 변환과 희박 코드 양쪽에 대해 닫힌 형태의 최적 업데이트를 갖는 교대 최적화 알고리즘을 제안한다.
• 각 변환에 대해 희박 코드를 업데이트하고 부모 변환을 최적화하는 데를 번갈아가며 수행하는 블록좌표 최소화 프레임워크를 도입한다.
• 각 변환당 고정된 희박 수준 s를 갖는 ℓ₀ 노름을 사용하여 변환 도메인 계수에 희박성 제약 조건을 적용한다.
• 하위문제의 볼록성과 표준 가정 하에 전역 수렴을 증명함으로써 수렴을 보장한다.
• 블록 일관성 방식으로 블록 내 모든 패치에 동일한 변환을 적용하여 학습된 FRIST를 MRI 재구성과 같은 역문제에서 정규화 요소로 활용한다.

실험 결과

연구 질문

• RQ1 학습된 스퍼스라이징 변환에 플립 및 회전 불변성을 강제하면 방향성 특징을 가진 자연 이미지의 스퍼스 표현 성능이 향상되는가?
• RQ2 FRIST 학습은 기존의 적응형 변환 및 사전 학습 방법에 비해 노이즈 제거, 인painting, 압축 감도 MRI 재구성과 같은 이미지 복구 작업에서 더 뛰어난 성능을 내는가?
• RQ3 FRIST의 구조적 변환 유니온은 많은 자유 매개변수를 가진 비구조적 변환 학습에 비해 과적합을 어떻게 줄이는가?
• RQ4 기하학적 대칭 제약 조건은 학습 알고리즘의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 역영상 문제에서 단일 적응형 변환 또는 학습된 사전보다 FRIST가 더 효과적인 정규화 요소가 될 수 있는가?

주요 결과

• 압축 감도 MRI 재구성에서 FRIST는 PANO 방법보다 평균 0.8 dB, PBDWS 방법보다 0.5 dB의 PSNR 향상을 달성한다.
• FRIST-MRI 재구성은 TL-MRI보다 평균 0.2 dB 높은 성능을 보이며, 구조적 변환이 단일 적응형 정사각형 변환보다 더 나은 정규화 요소임을 입증한다.
• 2.5× 언더샘플링 조건에서 이미지 3의 경우 FRIST-MRI는 36.7 dB의 PSNR를 기록하여 다음으로 우수한 방법인 DL-MRI(36.6 dB)를 초월하고, 제로 필링(24.9 dB)에 비해 극명하게 뛰어난 성능을 보였다.
• FRIST 재구성 오차 맵은 곡선 경계 주변에서 TL-MRI에 비해 더 적은 아티팩트를 보이며, 더 뛰어난 구조적 충실도를 나타낸다.
• FRIST 알고리즘은 초기화에 민감하지 않으며, 다양한 테스트 케이스에서 신뢰성 있고 안정적으로 수렴함을 관찰하였다.
• 표준 이미지 데이터셋에서의 세그멘테이션 및 노이즈 제거 실험을 통해 FRIST는 방향성 무늬와 에지의 효과적인 스퍼스 표현을 가능하게 한다.