[논문 리뷰] Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality

Changxiao Cai, H. Vincent Poor외 1명|arXiv (Cornell University)|2020. 06. 15.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 노이즈가 있고 관측이 불완전한 조건 하에서 비볼록 텐서 복원에 대한 분포이론을 개발하여, 알려지지 않은 텐서 원소와 요소에 대해 유효하고 데이터 기반의 신뢰구간을 가능하게 한다. 이는 이질적 노이즈와 사전 지식이 없는 오차 분포에 대해 완전히 적응하는 방식으로, ℓ₂ 추정 정확도가 향상되지 않는 최적의 성능을 달성함으로써 통계적 최적성을 확립한다.

ABSTRACT

We study the distribution and uncertainty of nonconvex optimization for noisy tensor completion -- the problem of estimating a low-rank tensor given incomplete and corrupted observations of its entries. Focusing on a two-stage estimation algorithm proposed by Cai et al. (2019), we characterize the distribution of this nonconvex estimator down to fine scales. This distributional theory in turn allows one to construct valid and short confidence intervals for both the unseen tensor entries and the unknown tensor factors. The proposed inferential procedure enjoys several important features: (1) it is fully adaptive to noise heteroscedasticity, and (2) it is data-driven and automatically adapts to unknown noise distributions. Furthermore, our findings unveil the statistical optimality of nonconvex tensor completion: it attains un-improvable $\ell_{2}$ accuracy -- including both the rates and the pre-constants -- when estimating both the unknown tensor and the underlying tensor factors.

연구 동기 및 목표

• 노이즈가 있고 관측이 불완전한 조건 하에서 비볼록 텐서 복원 추정기의 엄밀한 분포이론을 개발하는 것.
• 알려지지 않은 텐서 원소와 잠재 텐서 요소에 대해 유효하고 짧은 신뢰구간을 구축하는 것.
• 알려지지 않은 노이즈 이질성과 분포 형태에 적응하는 불확실성 정량화를 가능하게 하는 것.
• 비볼록 텐서 복원의 통계적 최적성을 ℓ₂ 추정 오차 기준으로, 사전 상수를 포함하여 확립하는 것.
• 노이즈의 구조에 대한 사전 지식이 필요 없는 데이터 기반의 추론 프레임워크를 제공하는 것.

제안 방법

• 텐서 복원을 위한 교대 최소 제곱 기반의 이중단계 비볼록 최적화 알고리즘을 사용한다.
• 이ossal 분석과 마팅게일 차분 수열을 통해 비볼록 추정기의 텐서 요소와 원소에 대한 동시 점근 정규성을 도출한다.
• 추정 오차를 분리하고 미세 척도에서 분포 보장을 도출하기 위해 새로운 이ossal 시퀀스 구성 기법을 사용한다.
• 이질적 노이즈에 적응하는 데이터 기반 분산 추정을 통해 추정된 표준오차를 사용하여 신뢰구간을 수립한다.
• 텐서 값 랜덤 변수에 대한 Berry-Esseen 유형 정리로 분포 근사의 수렴 속도를 제어한다.
• 비볼록 추정기가 텐서 및 요소 추정 모두에서 최소 최대 ℓ₂ 위험을 사전 상수를 포함하여 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 노이즈가 있고 관측이 불완전한 데이터 하에서 비볼록 텐서 복원에 대해 알려지지 않은 텐서 원소와 요소에 대해 유효한 신뢰구간을 구성할 수 있는가?
• RQ2 비볼록 추정기의 분포는 미세 척도에서 어떻게 행동하며, 정확히 특성화할 수 있는가?
• RQ3 추론 절차는 알려지지 않은 노이즈 이질성과 분포 형태에 적응할 수 있는가?
• RQ4 비볼록 텐서 복원 방법은 ℓ₂ 추정 오차 기준으로 통계적으로 최적인가?
• RQ5 비볼록 추정기의 분포는 잠재 텐서 구조와 어떤 관계가 있는가?

주요 결과

• 비볼록 추정기는 텐서와 그 요소에 대해 사전 상수를 포함한 향상되지 않는 ℓ₂ 추정 오차율을 달성한다.
• 텐서 원소와 요소에 대한 신뢰구간은 유효하고 짧으며, 수렴 확률이 점점 정확해진다.
• 이 방법은 노이즈 이질성에 완전히 적응하며, 노이즈 분산이나 분포에 대한 사전 지식이 필요 없다.
• 추론 프레임워크는 데이터 기반이며, 튜닝 파rameter나 노이즈의 분포 가정이 필요 없다.
• 분포 이론은 미세 척도까지 유효하여 고정밀도 불확실성 정량화를 가능하게 한다.
• 이론적 보장은 정확한 커버리지와 좁은 간격을 보여주는 수치 실험을 통해 지지된다.