[논문 리뷰] Selective Image Super-Resolution

Ju Sun, Qiang Chen외 2명|arXiv (Cornell University)|2010. 10. 27.

Advanced Image Processing Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 과분할, 군집화된 다중작업 라소(GMTL), 희소 코딩을 통합하여 영역별, 물체 사전 기반, 매트링 보정을 통한 선택적 이미지 초해상도 복원 시스템을 제안한다. 이는 물체 영역에만 초해상도 복원을 집중하고, 카테고리별 사전과 매트링을 통한 경계 보정을 통해 전통적인 블라인드 초해상도보다 더 나은 세부 정보 복원과 가장자리 유지 성능을 달성한다.

ABSTRACT

In this paper we propose a vision system that performs image Super Resolution (SR) with selectivity. Conventional SR techniques, either by multi-image fusion or example-based construction, have failed to capitalize on the intrinsic structural and semantic context in the image, and performed "blind" resolution recovery to the entire image area. By comparison, we advocate example-based selective SR whereby selectivity is exemplified in three aspects: region selectivity (SR only at object regions), source selectivity (object SR with trained object dictionaries), and refinement selectivity (object boundaries refinement using matting). The proposed system takes over-segmented low-resolution images as inputs, assimilates recent learning techniques of sparse coding (SC) and grouped multi-task lasso (GMTL), and leads eventually to a framework for joint figure-ground separation and interest object SR. The efficiency of our framework is manifested in our experiments with subsets of the VOC2009 and MSRC datasets. We also demonstrate several interesting vision applications that can build on our system.

연구 동기 및 목표

• 전통적인 초해상도 복원 방법이 전체 이미지에 대해 균일한 향상을 적용하여 가장자리가 흐려지고 과도하게 부드러워지는 문제를 해결하기 위해.
• 전체 이미지가 아닌 주목할 만한 물체 영역에 집중함으로써 초해상도 복원에 의미적이고 구조적인 맥락을 통합하기 위해.
• 알파 매트링 기법을 활용한 보정을 통해 초해상도 이미지의 경계 정확도를 향상시키기 위해.
• 선택적 초해상도 복원을 활용하여 물체 팝업, 줌 블러, 이미지 편집과 같은 새로운 시각적 응용을 가능하게 하기 위해.
• GMTL과 희소 코딩 기반의 통합 프레임워크를 통해 도형-배경 분리와 초해상도 복원을 동시에 해결하기 위해.

제안 방법

• 저해상도 입력 이미지를 초패치로 과분할하여 잠재적인 물체 영역을 국소화한다.
• 사전 학습된 물체 및 배경 사전를 사용한 군집화된 다중작업 라소(GMTL)를 적용하여 각 세그먼트별로 복원 계수와 도형-배경 분리를 동시에 추정한다.
• 이미지 패치의 사전 학습을 위해 첫 번째 및 두 번째 도함수 특징(Sobel 및 라플라시안 필터 등)을 사용한 희소 코딩을 적용한다.
• 지식 기반 세그먼테이션을 기반으로 50,000개의 저해상도 및 고해상도 패치에서 추출한 데이터를 사용해 각 클래스당 1024개의 기저 패치를 갖는 물체 전용 사전을 학습한다.
• 특히 양의 뿔이나 개의 머리와 같은 복잡한 경계에서 GMTL가 생성한 물체 지도를 보정하기 위해 이미지 매트링을 적용한다.
• 학습된 물체 사전를 사용해 보정된 물체 영역에만 초해상도 복원을 적용하고, 배경은 흐리게 처리하거나 그대로 둔다.

실험 결과

연구 질문

• RQ1 전체 이미지 초해상도 복원과 비교해 물체 영역에만 집중하는 선택적 초해상도 복원이 시각적 품질 향상에 기여하는가?
• RQ2 공유 사전 학습을 통한 GMTL이 저해상도 이미지에서 도형-배경 분리에 얼마나 효과적으로 기여하는가?
• RQ3 매트링 보정이 초해상도 이미지의 경계 정확도 향상에 어느 정도 기여하는가?
• RQ4 의미적 세그먼테이션, 희소 코딩, 매트링의 통합이 표준 초해상도 복원을 넘어서는 새로운 시각적 응용을 가능하게 하는가?
• RQ5 카테고리별 사전을 사용할 경우 일반 사전 또는 배경 기반 사전보다 더 나은 세부 정보 복원 성능을 보이는가?

주요 결과

• GMTL 기반의 도형-배경 분리 방법은 결과 시각적으로 확인된 바로, 패치 단위 투표 방식보다 더 신뢰할 수 있는 물체 영역을 생성하였다.
• 매트링은 소의 뿔이나 개의 머리와 같은 복잡한 구조에서 경계 세부 정보를 크게 향상시켜 분할 불량을 감소시키고 가장자리 선명도를 향상시켰다.
• 보정된 초해상도 패치에서는 저해상도 입력보다 훨씬 더 많은 질감과 구조적 세부 정보를 확보하여 뛰어난 시각적 품질을 달성하였다.
• 프레임워크는 선택적 처리를 통해 물체 팝업 및 줌 블러와 같은 새로운 시각 효과를 성공적으로 구현하였다.
• VOC2009 및 MSRC 데이터셋에서의 실험 결과, 각 카테고리당 15개의 테스트 이미지와 총 데이터셋의 10%를 학습에 사용하여 방법의 효과성을 입증하였다.
• 예를 들어 고양이, 강아지, 양 등의 카테고리별 사전를 사용할 경우 일반적인 접근 방식보다 더 정확하고 맥락에 부합하는 초해상도 복원 결과를 도출하였다.