[논문 리뷰] MTC: Multiresolution Tensor Completion from Partial and Coarse Observations

Chaoqi Yang, Navjot Singh외 4명|arXiv (Cornell University)|2021. 06. 14.

Tensor decomposition and applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 낮은 질서의 텐서를 복원하기 위해 부분적인 미세한 관측치와 군집된 고해상도 데이터를 동시에 활용하는 다중해상도 텐서 완성 방법인 MTC를 제안한다. 다중해상도 초기화를 갖춘 결합된 교차 최소제곱 최적화 프레임워크를 사용함으로써, MTC는 5%의 관측 요소만으로도 두 개의 코로나19 시공간 데이터셋에서 각각 65.20% 및 75.79%의 피트니스 비율(PoF)을 달성하며, 기준 모델들보다 상대적으로 27.96% 향상된 성능을 보였다.

ABSTRACT

Existing tensor completion formulation mostly relies on partial observations from a single tensor. However, tensors extracted from real-world data are often more complex due to: (i) Partial observation: Only a small subset (e.g., 5%) of tensor elements are available. (ii) Coarse observation: Some tensor modes only present coarse and aggregated patterns (e.g., monthly summary instead of daily reports). In this paper, we are given a subset of the tensor and some aggregated/coarse observations (along one or more modes) and seek to recover the original fine-granular tensor with low-rank factorization. We formulate a coupled tensor completion problem and propose an efficient Multi-resolution Tensor Completion model (MTC) to solve the problem. Our MTC model explores tensor mode properties and leverages the hierarchy of resolutions to recursively initialize an optimization setup, and optimizes on the coupled system using alternating least squares. MTC ensures low computational and space complexity. We evaluate our model on two COVID-19 related spatio-temporal tensors. The experiments show that MTC could provide 65.20% and 75.79% percentage of fitness (PoF) in tensor completion with only 5% fine granular observations, which is 27.96% relative improvement over the best baseline. To evaluate the learned low-rank factors, we also design a tensor prediction task for daily and cumulative disease case predictions, where MTC achieves 50% in PoF and 30% relative improvements over the best baseline.

연구 동기 및 목표

• 실제 환경에서 데이터가 부분적으로 관측되며 고해상도 형태로도 제공되는 상황에서의 텐서 완성 문제를 해결하기 위해.
• 미세한 해상도의 부분 관측치와 고해상도의 군집된 시각을 통합하여 유일한 낮은 질서의 텐서 완성 프레임워크로 융합하기 위해.
• 다중해상도 초기화와 효율적인 결합된 ALS 솔버를 설계하여 계산 효율성과 최적화 정확도를 향상시키기 위해.
• 특히 질병 발생 예측 및 누락 데이터 보정을 위한 실세계 시공간 건강 데이터에 대해 모델을 평가하기 위해.
• 미세한 관측치가 희박할 때도 고해상도 데이터가 병합된 경우 성능 향상이 크게 이루어질 수 있음을 입증하기 위해.

제안 방법

• MTC는 부분 관측치와 고해상도 관측치 양쪽에 대해 프로베니우스 노름 최소화를 통해 결합된 텐서 완성 문제를 수립한다.
• 고해상도에서 미세해상도로의 텐서 시각을 반복적으로 사용하여 낮은 질서의 성분을 다중해상도 분해를 통해 초기화한다.
• 계산 효율성을 높이기 위해 다중 선형 시스템을 통합 정규방정식에 포장하는 교차 최소제곱(ALS) 솔버를 사용한다.
• 모드별 집계 패tern과 계층적 해상도 구조를 활용하여 초기화를 안내하고 수렴성을 향상시킨다.
• 이중 단계 최적화 프로세스를 사용한다: 1단계는 고해상도 시스템에서 자코비 반복을 수행하고, 2단계는 미세해상도 데이터에 대해 코レス키 기반 최소제곱을 적용한다.
• 전체 기울기 계산을 피하고 반복적, 희소성에 민감한 솔버를 사용함으로써 공간 복잡도와 시간 복잡도를 낮춘다.

실험 결과

연구 질문

• RQ1 미세한 관측치가 부분적으로 제공될 때 고해상도 텐서 데이터가 텐서 완성 정확도를 크게 향상시킬 수 있는가?
• RQ2 다중해상도 텐서 분해를 통해 낮은 질서의 텐서 완성에 효과적인 초기화를 생성할 수 있는가?
• RQ3 부분 관측치와 고해상도 관측치를 병합했을 때, 단순히 부분 관측치만 사용하는 것과 비교해 성능 향상이 얼마나 이루어지는가?
• RQ4 MTC의 최적화 전략은 기울기 기반 기준 모델들과 비교해 수렴 속도와 정확도 면에서 어떻게 다른가?
• RQ5 학습된 낮은 질서의 요소들이 질병 발생 예측과 같은 후속 예측 작업에 얼마나 재사용 가능한가?

주요 결과

• MTC는 실세계 코로나19 시공간 데이터셋 두 개에서 미세한 관측치가 5%뿐인 상황에서도 각각 65.20% 및 75.79%의 피트니스 비율(PoF)을 달성하였으며, 최고의 기준 모델 대비 상대적 향상률 27.96%를 기록했다.
• 일일 및 누적 질병 발생 수 예측 텐서 예측 작업에서 MTC는 50%의 PoF를 달성하였으며, 최고의 기준 모델 대비 30%의 상대적 향상률을 보였다.
• MTC의 최적화는 기울기 기반 기준 모델 대비 약 1/8 수준의 시간으로 실행되었으며, 부동소수점 연산 수를 줄이고 선형 탐색을 피했기 때문이다.
• 다중해상도 초기화 덕분에, MTC는 관측 데이터가 단지 1%일 때도 30회의 최적화 반복 내에 HOSVD 및 TendiB를 포함한 모든 기준 모델을 뛰어넘었다.
• 더 높은 누락 비율 상황에서 더 큰 이점을 보였다: 부분 관측치가 희박할수록(예: 2.5% 또는 5%) 성능 향상이 가장 두드러졌다.
• 최적화 과정에서 MTC는 기울기 기반 방법들과 비교해 더 빠른 수렴 속도와 더 나은 최종 결과를 보였으며, 특히 데이터가 부족한 경우 두드러졌다.