[논문 리뷰] Concatenated image completion via tensor augmentation and completion

Johann A. Bengua, Hoang Duong Tuan외 2명|arXiv (Cornell University)|2016. 07. 14.

Tensor decomposition and applications참고 문헌 24인용 수 3

한 줄 요약

이 논문은 단일 이미지의 누락된 영역을 여러 번 복제하여 고차원 텐서로 연결함으로써 고정밀도 색상 이미지 복원을 위한 새로운 프레임워크인 ICTAC을 제안한다. 이 프레임워크는 텐서 트레일(TT) 랭크 기반 킷 증강(KA) 및 TMac-TT를 통한 복원을 적용한다. 이 방법은 KA+TMac-TT 및 SPC-QV와 같은 최신 기술들보다 정량적 지표와 시각적 품질 측면에서 모두 뛰어나며, 특히 머리카락 줄기나 윤곽선과 같은 미세한 세부 정보를 잘 유지한다.

ABSTRACT

This paper proposes a novel framework called concatenated image completion via tensor augmentation and completion (ICTAC), which recovers missing entries of color images with high accuracy. Typical images are second- or third-order tensors (2D/3D) depending if they are grayscale or color, hence tensor completion algorithms are ideal for their recovery. The proposed framework performs image completion by concatenating copies of a single image that has missing entries into a third-order tensor, applying a dimensionality augmentation technique to the tensor, utilizing a tensor completion algorithm for recovering its missing entries, and finally extracting the recovered image from the tensor. The solution relies on two key components that have been recently proposed to take advantage of the tensor train (TT) rank: A tensor augmentation tool called ket augmentation (KA) that represents a low-order tensor by a higher-order tensor, and the algorithm tensor completion by parallel matrix factorization via tensor train (TMac-TT), which has been demonstrated to outperform state-of-the-art tensor completion algorithms. Simulation results for color image recovery show the clear advantage of our framework against current state-of-the-art tensor completion algorithms.

연구 동기 및 목표

• 직접 킷 증강(KA)을 적용할 경우 발생하는 텐서 복원 과정에서의 블록 아티팩트 문제를 해결한다.
• 단일 이미지의 여러 복제본에서 유도된 구조적 패턴을 활용하여 텐서 복원 성능을 향상시킨다.
• 이미지 복제, 수정된 킷 증강, TT-랭크 기반 텐서 복원을 통합한 프레임워크를 개발하여 이미지 복구 성능을 향상시킨다.
• 색상 이미지 복원 과업에서 기존 최신 기술들보다 뛰어난 성능을 입증한다.
• 복원 과정에서 시각적 왜곡을 최소화하고 질감과 윤곽선과 같은 미세한 이미지 세부 정보를 유지한다.

제안 방법

• 누락된 영역이 있는 단일 색상 이미지의 C개 복제본을 제3차원 텐서로 연결하여 고차원 구조를 형성한다.
• 텐서 트레일(TT) 랭크 구조를 활용하기 위해 수정된 킷 증강(KA) 기법을 적용하여 연결된 텐서를 고차원 텐서(최대 10개 모드)로 변환한다.
• 증강된 텐서의 저랭크 텐서 복원을 위해 텐서 트레일 랭크와 병렬 행렬 분해 기반의 TMac-TT 알고리즘을 사용한다.
• 복제된 이미지 복제본의 원래 공간 차원을 평균 내거나 재구성하여 복원된 텐서에서 이미지를 추출한다.
• 비균형 터커 기반 방법보다 복원 정확도를 향상시키기 위해 텐서 트레일 랭크 기반의 균형 잡힌 매트리시제이션 기법을 활용한다.
• 가상 공간 텐서(VST) 변환을 사용하여 연결된 텐서를 효율적인 KA 적용과 TT 기반 처리에 적합한 형태로 재구성한다.

실험 결과

연구 질문

• RQ1 누락된 영역이 있는 단일 이미지의 여러 복제본을 연결함으로써 단일 이미지 처리에 비해 텐서 복원 성능을 향상시킬 수 있는가?
• RQ2 연결된 텐서 구조에 수정된 킷 증강(KA)을 적용할 경우, 윤곽선과 질감과 같은 미세한 이미지 세부 정보 복원 성능이 향상되는가?
• RQ3 ICTAC 프레임워크는 정량적 지표(RSE, SSIM)와 시각적 품질 측면에서 KA+TMac-TT 및 SPC-QV와 비교해 어떻게 성능을 냈는가?
• RQ4 제안된 프레임워크는 일반적으로 TT-랭크 기반 복원 방법에서 관찰되는 블록 아티팩트를 어느 정도 감소시켰는가?
• RQ5 완성 정확도를 극대화하면서 아티팩트나 계산 오버헤드를 유발하지 않는 최적의 이미지 복제 수(C)가 존재하는가?

주요 결과

• 80%의 누락 영역이 있는 Lena 이미지에 대해 ICTAC은 SSIM 0.983과 RSE 0.048을 기록하여 KA+TMac-TT 및 SPC-QV 모두를 초월하는 성능을 보였다.
• 90%의 누락 영역에 대해 ICTAC은 KA+TMac-TT보다 뛰어난 SSIM과 RSE 성능을 보였으며, 이는 모든 방법 중에서 가장 열 劣한 성능을 보였다.
• 시각적 결과에서 ICTAC은 SPC-QV보다 머리카락 줄기와 얼굴 특징과 같은 미세한 세부 정보를 더 잘 유지하는 것으로 나타났으며, SPC-QV는 뚜렷한 흐림과 퇴색 현상을 보였다.
• SPC-QV는 더 부드러운 질감을 생성했지만, 특히 윤곽선과 복잡한 질감 부근에서 세부 정보 손실과 이미지 흐림 현상이 심했다.
• KA+TMac-TT에 비해 ICTAC에서는 블록 아티팩트가 크게 감소했으며, 낮은 누락 비율에서도 여전히 눈에 띄는 아티팩트를 유지하지 않았다.
• 복원 과정에서 왜곡을 효과적으로 완화했으며, 최종 텐서 재구성 시 원래 이미지 크기로 복원한 후에만 미세한 아티팩트가 약간 발생했다.