[논문 리뷰] Fast and Accurate Tensor Completion with Total Variation Regularized Tensor Trains

Ching-Yun Ko, Kim Batselier외 2명|arXiv (Cornell University)|2018. 04. 17.

Tensor decomposition and applications참고 문헌 41인용 수 7

한 줄 요약

이 논문은 총 미분(총변화, TV) 정규화를 사용한 텐서 트레이스를 활용한 빠르고 정확한 텐서 완성 방법을 제안한다. 완성을 알려진 텐서 항목에 대한 회귀 문제로 설정한다. 유사한 정확도를 유지하면서 최신 기술 대비 최대 155배 빠른 속도 향상을 달성하며, 특히 희소 데이터(예: 1%의 알려진 항목)에서 뛰어난 성능을 발휘한다. 이는 효율적인 TV-정규화 텐서 트레이스 최적화와 새로운 보간 기반 초기화 방법 덕분이다.

ABSTRACT

We propose a new tensor completion method based on tensor trains. The to-be-completed tensor is modeled as a low-rank tensor train, where we use the known tensor entries and their coordinates to update the tensor train. A novel tensor train initialization procedure is proposed specifically for image and video completion, which is demonstrated to ensure fast convergence of the completion algorithm. The tensor train framework is also shown to easily accommodate Total Variation and Tikhonov regularization due to their low-rank tensor train representations. Image and video inpainting experiments verify the superiority of the proposed scheme in terms of both speed and scalability, where a speedup of up to 155X is observed compared to state-of-the-art tensor completion methods at a similar accuracy. Moreover, we demonstrate the proposed scheme is especially advantageous over existing algorithms when only tiny portions (say, 1%) of the to-be-completed images/videos are known.

연구 동기 및 목표

• 이미지 및 비디오와 같은 고차원 데이터에 대해 기존 행렬 및 텐서 완성 방법의 확장성과 계산 비효율성 문제를 해결한다.
• CP 및 터커 분해의 국한점을 극복한다. 특히 높은 저장 비용과 NP-완전한 질량 결정 문제를 포함한다.
• 낮은 질량 구조를 가진 완성된 텐서를 효율적이고 확장 가능하며 정확하게 완성할 수 있는 텐서 트레이스 기반 프레임워크를 개발한다.
• 총변화(Total Variation) 및 티콘코프 정규화를 최소한의 계산 오버헤드로 텐서 트레이스 프레임워크에 통합한다.
• 이미지 및 비디오 복원에서 뛰어난 성능을 보이며, 특히 관측된 항목의 비율이 매우 낮을 때도 유의미한 성능을 발휘한다.

제안 방법

• 알려진 항목의 다중색인(좌표)을 입력으로, 그 값들을 출력으로 하는 회귀 문제로 텐서 완성 문제를 설정한다.
• 알 수 없는 텐서를 낮은 질량 텐서 트레이스(TT)로 모델링하고, TT 코어에 대해 교대 최소 제곱법을 통해 완성 문제를 해결한다.
• 이미지 및 비디오 데이터에 특화된 새로운 보간 기반 텐서 트레이스 초기화 방법을 도입하여 수렴 속도를 가속화한다.
• 총변화 및 티콘코프 정규화의 낮은 질량 구조를 활용하여, 거의 계산 비용 없이 이를 TT 프레임워크에 직접 통합한다.
• 고정된 TT-질량을 가지는 TT-SVD를 사용해 텐서 트레이스를 초기화함으로써 수치적 안정성과 효율성을 확보한다.
• 회귀 설정에서 유도된 선형 시스템의 시퀀스를 풀어 TT 코어를 최적화하며, 구조화된 정규화를 통해 총변화 및 티콘코프 항목을 통합한다.

실험 결과

연구 질문

• RQ1 텐서 트레이스 분해는 기존의 행렬 또는 CP 기반 방법보다 더 빠르고 확장 가능한 텐서 완성 문제를 해결할 수 있는가?
• RQ2 총변화 정규화가 텐서 트레이스 프레임워크에 통합되었을 때 이미지 및 비디오 완성 품질을 어떻게 향상시키는가?
• RQ3 특화된 초기화 절차가 시각 데이터에 대한 텐서 트레이스 기반 완성에서 수렴 속도를 크게 가속화할 수 있는가?
• RQ4 오직 매우 소수의 텐서 항목(예: 1%)만 관측되었을 때 제안된 방법의 성능은 어떠한가?
• RQ5 최신 기술 대비 제안된 프레임워크에서 TT-질량을 변화시켰을 때 정확도와 런타임 간의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 TTC-TV 방법은 최신 기술 대비 최대 155배의 속도 향상을 달성하면서도 유사한 정확도를 유지한다.
• 알려진 항목이 1%뿐일 경우, 제안된 방법은 PSNR와 런타임 모두 기존 알고리즘을 크게 능가하며, 희소 관측에 대한 강건성을 입증한다.
• 영상 완성에 대한 수정된 TTC 알고리즘은 79초 만에 PSNR 17.45 dB를 달성했으며, TR-ALS 대비 57배, 표준 TTC 대비 23배 더 빠르게 동작했고, 최고의 TR-ALS 성능을 그대로 따라잡았다.
• TTC-TV 결과는 TT 부분공간 내의 거의 최적의 TT 근사값과 거의 또는 더 나은 성능을 보이며, 해가 거의 최적에 가까운 것을 시사한다.
• 제안된 보간 기반 초기화 방법은 정확도를 훼손하지 않으면서도 수렴 속도를 급격히 향상시키며, 전체 속도 향상에 기여한다.
• 기존 방법들이 메모리 제약으로 실패하는 고해상도 이미지 및 대규모 영상 텐서에서도 본 방법은 뛰어난 확장성을 보여준다.