[논문 리뷰] Low-rank Tensor Grid for Image Completion

Huyan Huang, Yipeng Liu외 1명|arXiv (Cornell University)|2019. 03. 12.

Tensor decomposition and applications참고 문헌 47인용 수 7

한 줄 요약

이 논문은 이미지 복원을 위한 새로운 저질수 텐서 격자(TG) 프레임워크를 제안하며, 텐서 모드 간의 복잡한 다중 방향 상호작용을 모델링하기 위해 투영된 엔젤드 페어 상태(PEPS) 구조를 활용한다. 초기화에 이중 밀도 행렬 재정규화 그룹(2SDMRG)을 사용하고, 교대 최소 제곱법(ALS)과 병렬 행렬 분해를 결합함으로써, 합성 및 실세계 이미지 데이터셋에서 최신 기술 수준의 정확성과 효율성을 달성한다. 이는 TT, TR 및 전통적인 텐서 복원 방법보다 복원 품질과 계산 속도 면에서 뛰어나다.

ABSTRACT

Tensor completion estimates missing components by exploiting the low-rank structure of multi-way data. The recently proposed methods based on tensor train (TT) and tensor ring (TR) show better performance in image recovery than classical ones. Compared with TT and TR, the projected entangled pair state (PEPS), which is also called tensor grid (TG), allows more interactions between different dimensions, and may lead to more compact representation. In this paper, we propose to perform image completion based on low-rank tensor grid. A two-stage density matrix renormalization group algorithm is used for initialization of TG decomposition, which consists of multiple TT decompositions. The latent TG factors can be alternatively obtained by solving alternating least squares problems. To further improve the computational efficiency, a multi-linear matrix factorization for low rank TG completion is developed by using parallel matrix factorization. Experimental results on synthetic data and real-world images show the proposed methods outperform the existing ones in terms of recovery accuracy.

연구 동기 및 목표

• 이미지 데이터 모드 간의 복잡한 다중 방향 상호작용을 모델링하는 데 있어 기존 텐서 복원 방법의 한계를 해결하기 위해.
• 텐서 트레인(TT)의 두 차원 일반화인 텐서 격자(TG)가 저질수 텐서 복원에서 이미지 복원에 있어 더 나은 표현 능력을 제공할 수 있는지 탐색하기 위해.
• TG 기반 텐서 복원을 위한 효율적이고 정확한 초기화 및 최적화 프레임워크를 개발하기 위해.
• 낮은 질수 TG 근사에 있어 병렬 행렬 분해를 통해 계산 효율성을 향상시키면서도 높은 복원 정확도를 유지하기 위해.
• 다양한 이미지 데이터셋에서 TG 기반 복원이 TT, TR 및 전통적인 텐서 분해 방법보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 안정적인 요인 초기화를 위해 다중 텐서 트레인(TT) 분해를 활용하는 이중 밀도 행렬 재정규화 그룹(2SDMRG) 알고리즘을 사용하여 텐서 격자(TG) 분해를 초기화한다.
• 교대 최소 제곱법(ALS)을 사용하여 활성화된 텐서와 그 환경 텐서를 포함하는 이차 하위 문제를 풀어 잠재 TG 요인을 반복적으로 최적화한다.
• 최적화 중 계산 오버헤드를 줄이기 위해 환경 텐서 계산을 단일층(SL) 방법을 사용하여 가속화한다.
• 텐서를 다수의 TG 전개된 구성요소들의 가중합으로 간주함으로써 효율적인 저질수 TG 근사가 가능한 병렬 행렬 분해 기법을 도입한다.
• 다양한 전개 방식에서 동시에 TG 요인을 업데이트함으로써 확장 가능하고 분산된 계산이 가능하도록 최적화를 수행한다.
• 관측된 항목과 복원된 저질수 TG 텐서 간의 피팅 오차를 최소화함으로써 이 프레임워크를 이미지 복원에 적용한다.

실험 결과

연구 질문

• RQ1 텐서 트레인(TT)의 두 차원 일반화인 텐서 격자(TG)는 기존 텐서 네트워크보다 이미지 데이터에 대해 더 압축적이고 표현력 있는 표현을 제공할 수 있는가?
• RQ2 2SDMRG 초기화 전략은 TG 기반 텐서 복원의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 병렬 행렬 분해 기법은 정확도를 희생시키지 않으면서 저질수 TG 복원의 계산 효율성을 어느 정도 향상시키는가?
• RQ4 실세계 이미지 및 영상 데이터에서 TG 기반 복원은 TT, TR, CP 및 t-SVD와 같은 최신 기술 수준의 방법보다 복원 정확도와 런타임 면에서 어떻게 비교되는가?
• RQ5 TG 프레임워크는 합성 데이터, 색상 이미지, 고분해능 스펙트럼 이미지, 고속 영상 시퀀스를 포함한 다양한 데이터 유형에서 강건성을 유지하는가?

주요 결과

• 10%의 관측 항목을 가진 폭발 영상 데이터셋에서 PMac-TG는 가장 낮은 상대 오차(RE = 0.139)와 가장 빠른 런타임(34.32초)을 기록하여 ALS-TG, TR-ALS 및 TMac-TT를 모두 앞섰다.
• 합성 데이터에 대해 제안된 PMac-TG 방법은 TG 질수 40에서 상대 오차 0.051, PSNR 21.63 dB를 달성하여 TR-ALS(RE = 0.082, PSNR = 18.06 dB)와 HaLRTC(RE = 0.836, PSNR = 8.58 dB)를 크게 능가했다.
• A-PMac-TG 변종은 상대 오차 0.169와 PSNR 25.75 dB로 더 높은 오차와 낮은 정확도를 보이며 잠재적인 과소적합의 가능성을 보였지만, PMac-TG는 다양한 질수에서 우수한 성능을 유지했다.
• 폭발 영상에서 질수 40일 때 PMac-TG는 PSNR 27.42 dB, RE 0.139를 기록하여 TMac-TT(RE = 0.145, PSNR = 27.26 dB)와 TR-ALS(RE = 0.153, PSNR = 26.70 dB)를 모두 뛰어넘었다.
• 이 방법은 확장성과 효율성을 입증했으며, 폭발 영상에서 PMac-TG의 CPU 시간은 31에서 39.6초 사이로, ALS-TG(최대 5.9e3초)와 TR-ALS(최대 1.62e4초)보다 현저히 낮았다.
• 결과는 TG 기반 복원이 다항식 상관관계 감쇠와 향상된 모드 간 상호작용 덕분에 TT 및 TR과 같은 지수 감쇠 모델보다 더 나은 복원 정확도를 제공하는 더 뛰어난 표현 능력을 지닌다는 것을 확인한다.