[논문 리뷰] Beyond Low Rank: A Data-Adaptive Tensor Completion Method

Lei Zhang, Wei Wei외 4명|arXiv (Cornell University)|2017. 08. 03.

Tensor decomposition and applications참고 문헌 20인용 수 7

한 줄 요약

이 논문은 완전하지 않은 텐서 내에서 저질서 및 비저질서 구조를 명시적으로 모델링하는 데이터 적응형 텐서 완성 방법을 제안한다. CP 분해 기반의 희박성 유도 저질서 사전과 비저질서 성분을 위한 가우시안 혼합 모델을 도입함으로써, 모델은 자동으로 텐서 질서를 결정하고 기존 최고 수준의 방법들보다 뛰어난 완성 정확도를 달성하며, 특히 높은 누락 비율에서 뛰어난 성능을 보인다.

ABSTRACT

Low rank tensor representation underpins much of recent progress in tensor completion. In real applications, however, this approach is confronted with two challenging problems, namely (1) tensor rank determination; (2) handling real tensor data which only approximately fulfils the low-rank requirement. To address these two issues, we develop a data-adaptive tensor completion model which explicitly represents both the low-rank and non-low-rank structures in a latent tensor. Representing the non-low-rank structure separately from the low-rank one allows priors which capture the important distinctions between the two, thus enabling more accurate modelling, and ultimately, completion. Through defining a new tensor rank, we develop a sparsity induced prior for the low-rank structure, with which the tensor rank can be automatically determined. The prior for the non-low-rank structure is established based on a mixture of Gaussians which is shown to be flexible enough, and powerful enough, to inform the completion process for a variety of real tensor data. With these two priors, we develop a Bayesian minimum mean squared error estimate (MMSE) framework for inference which provides the posterior mean of missing entries as well as their uncertainty. Compared with the state-of-the-art methods in various applications, the proposed model produces more accurate completion results.

연구 동기 및 목표

• 기존 방법이 행렬 전개나 수동 설정에 의존하는 텐서 완성에서의 저질서 텐서 완성의 질서 결정 문제를 해결한다.
• 실제 데이터에서 흔히 존재하는 복잡한 비저질서 성분을 고려하지 못하는 한계를 극복한다.
• 저질서 및 비저질서 구조를 명시적으로 모델링하는 통합 프레임워크를 개발하여 완성 정확도를 향상시킨다.
• CP 분해에서 유도된 희박성 유도 사전을 통해 자동으로 텐서 질서를 결정할 수 있도록 한다.
• 베이지안 MMSE 추론 프레임워크를 통해 누락된 항목의 불확실성 추정을 제공한다.

제안 방법

• 자기 조정형 저질서 모델링을 가능하게 하기 위해 CANDECOMP/PARAFAC (CP) 분해 기반의 새로운 텐서 질서를 정의한다.
• 수동 조정 없이 자동으로 텐서 질서를 결정할 수 있도록 CP 분해 계수에 희박성 유도 사전을 도입한다.
• 비저질서 구조를 가우시안 혼합 모델(MOG)을 사용해 모델링하여 희박성, 꼬리가 무거운 분포 또는 다중모달 분포와 같은 다양한 데이터 패턴을 민첩하게 포착한다.
• 누락된 항목의 사후 평균과 그 불확실성을 추론하기 위해 베이지안 최소 제곱 오차(MMSE) 추정 프레임워크를 설정한다.
• 요소 행렬의 행에 대해 가우시안 마르코프 무작위 필드를 적용하여 공간 유사성 사전을 통합함으로써 이미지 및 영상 완성에서 복구 성능을 향상시킨다.
• 사후 추론을 위해 겔즈 샘플링을 사용하여 누락된 값과 불확실성 정량화를 동시에 추정한다.

실험 결과

연구 질문

• RQ1 저질서 및 비저질서 구조를 명시적으로 분리하는 데이터 적응형 텐서 완성 모델이 기존의 저질서 전용 모델보다 우수한 성능을 낼 수 있는가?
• RQ2 CP 분해에서 유도된 희박성 유도 사전이 수동 입력 없이도 자동으로 텐서 질서를 결정할 수 있는가?
• RQ3 가우시안 혼합 모델 사전이 실제 텐서 데이터의 복잡한 비저질서 구조를 효과적으로 모델링할 수 있는가?
• RQ4 제안된 베이지안 MMSE 프레임워크는 더 정확하고 강건한 완성 결과를 제공하며, 불확실성 추정까지 가능한가?
• RQ5 사전 정보가 제한된 상황에서 높은 누락 비율에서도 모델의 성능은 어떠한가?

주요 결과

• 제안된 방법은 'suzie' 영상에서 상대적 재구성 오차(RRE) 0.0381, 'foreman' 영상에서 0.0422를 기록하여 FBCP 및 BRTF를 포함한 모든 기준 모델을 능가한다.
• CMU-PIE 데이터셋에서의 이미지 복원 작업에서, 60% 누락 비율일 경우 RRE를 0.1172로 줄였고, 90%일 경우 0.3372로 유지하여 FaLRTC 및 HaLRTC보다 뚜렷이 뛰어난 성능을 보였다.
• 'suzie' 영상에서 PSNR 35.6013, SSIM 0.9182를 달성하여 FBCP(PSNR: 34.6221, SSIM: 0.9103) 및 기타 최고 수준의 방법들을 능가했다.
• 공간 유사성 사전을 통합한 변형('Ours_sc')은 특히 높은 누락 비율에서 성능 향상을 보이며, 추가적인 구조적 사전의 가치를 입증했다.
• 베이지안 MMSE 프레임워크는 누락된 항목의 불확실성을 성공적으로 추정하여 예측의 신뢰도를 정량화하는 체계적인 방법을 제공했다.
• 시각적 결과에서는 제안된 방법이 텍스처나 복잡한 영역(예: 'parrot' 이미지)에서 더 선명하고 정확한 재구성을 만들어내는 것으로 나타났다.