[논문 리뷰] A New Low-Rank Tensor Model for Video Completion

Wenrui Hu, Dacheng Tao외 3명|arXiv (Cornell University)|2015. 09. 07.

Tensor decomposition and applications참고 문헌 9인용 수 16

한 줄 요약

이 논문은 원형 대수학과 텐서-특이값 분해를 활용하여 누락된 프레임이 있는 풍경 이동 영상(팬링 영상)을 효율적으로 복원하는 데 중점을 두고 새로운 저질서 텐서 모델인 '틀림 텐서 핵노름(t-TNN)'을 제안한다. 블록 원형 행렬화를 통해 영상 프레임 간의 수평 이동 관계를 활용함으로써 t-TNN은 비정적 카메라 영상에서 특히 뛰어난 복원 정확도를 달성하며, 최신 기술인 GTNN보다 최대 3.7 dB의 RSE 감소를 기록한다.

ABSTRACT

In this paper, we propose a new low-rank tensor model based on the circulant algebra, namely, twist tensor nuclear norm or t-TNN for short. The twist tensor denotes a 3-way tensor representation to laterally store 2D data slices in order. On one hand, t-TNN convexly relaxes the tensor multi-rank of the twist tensor in the Fourier domain, which allows an efficient computation using FFT. On the other, t-TNN is equal to the nuclear norm of block circulant matricization of the twist tensor in the original domain, which extends the traditional matrix nuclear norm in a block circulant way. We test the t-TNN model on a video completion application that aims to fill missing values and the experiment results validate its effectiveness, especially when dealing with video recorded by a non-stationary panning camera. The block circulant matricization of the twist tensor can be transformed into a circulant block representation with nuclear norm invariance. This representation, after transformation, exploits the horizontal translation relationship between the frames in a video, and endows the t-TNN model with a more powerful ability to reconstruct panning videos than the existing state-of-the-art low-rank models.

연구 동기 및 목표

• 기존 저질서 모델이 시간적 이동 패턴을 포착하지 못하는 패닝 영상에서의 영상 복원 과제를 해결한다.
• 프레임 간 공간적 이동 관계를 고려하지 않는 기존 텐서 핵노름(예: GTNN)의 한계를 극복한다.
• 구조적 재현성과 계산 효율성을 동시에 확보하는 해석 가능한 저질서 텐서 모델을 개발한다.
• 임의의 가림과 구조적 누락 데이터 상황 모두에서 강력한 영상 복원 성능을 보장한다.
• 블록 원형 표현을 통해 텐서 핵노름과 행렬 핵노름을 연결함으로써 모델링 능력을 향상시킨다.

제안 방법

• 2차원 영상 프레임을 순서대로 수평으로 저장하여 공간적 및 시간적 순서를 유지하는 3차원 텐서인 '틀림 텐서'를 제안한다.
• 틀림 텐서의 블록 원형 행렬화에서의 핵노름으로서 틀림 텐서 핵노름(t-TNN)을 정의한다.
• t-TNN이 푸리에 도메인에서의 텐서 다중질서 완화와 동치임을 증명하여 FFT 기반의 효율적 계산을 가능하게 한다.
• 블록 원형 행렬화를 핵노름 불변성을 유지하는 원형 블록 표현으로 변환하여 프레임 간 수평 이동을 포착한다.
• 텐서 다중질서의 볼록 대체물로 t-TNN를 사용하여 영상 복원 문제를 저질서 텐서 추정 문제로 공식화한다.
• 효율적인 특이값 임계처리를 통해 ADMM(교차 방법의 다중 승수) 프레임워크를 활용해 최적화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 프레임 간 수평 이동 관계를 명시적으로 고려하는 저질서 텐서 모델이 패닝 영상의 영상 복원 성능을 향상시킬 수 있는가?
• RQ2 t-TNN은 GTNN, SNN, LNN과 같은 최신 기술 모델과 비교해 누락된 데이터가 있는 영상 복원에서 어떤 성능을 보이는가?
• RQ3 틀림 텐서의 원형 블록 표현이 핵노름 불변성을 유지하면서 시간적 재현성을 향상시키는가?
• RQ4 기존 방법들과 비교해 비정적 카메라 운동이 있는 영상에서 t-TNN이 복원 오차(RSE)를 얼마나 줄이는가?
• RQ5 t-TNN은 패닝 영상 시퀀스에서 '최종 꼬리' 및 가시성 오류를 효과적으로 억제할 수 있는가?

주요 결과

• t-TNN는 패닝 영상에서 GTNN 대비 RSE를 0.8 dB에서 3.7 dB까지 감소시켜 뛰어난 복원 정확도를 확보한다.
• 패닝 운동이 있는 윈드밀 영상에서 t-TNN는 GTNN 결과에서 나타나는 '최종 꼬리' 및 가시성 오류를 제거한다. 이는 이동 모델링 부족으로 인한 결과이다.
• 임의의 가림 실험에서 t-TNN는 모든 테스트 영상에서 GTNN, SNN, LNN, TMac, MNN를 일관되게 능가하며, 특히 질감과 세밀한 디테일 복원에서 뛰어난 성능을 보인다.
• 평균적으로 t-TNN는 모든 방법 중에서 가장 높은 역 RSE(iRSE)와 가장 낮은 실행 시간을 기록하며, 대규모 영상(예: p=0.1일 때 빌딩 영상)에서 GTNN 대비 10배 빠른 처리 속도(예: 419초 대비 66초)를 확보한다.
• 틀림 텐서의 원형 블록 표현은 핵노름을 유지하면서도 FFT 기반의 효율적 계산을 가능하게 하여 계산 효율성과 모델링 정확도를 동시에 확보한다.
• 비정적 패닝 운동을 보이는 영상에서 t-TNN는 간섭 프레임 간 이동 패턴을 간과하는 모델보다 시간적 이동 재현성의 잠재력을 더 효과적으로 활용한다.