[논문 리뷰] Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning

Jicong Fan, Yuqian Zhang외 1명|arXiv (Cornell University)|2019. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 저차원 다항 생성 모델 하에서 고계수 행렬 복원을 위한 새로운 방법인 다항식 매트릭스 완성(PMC)을 제안한다. 데이터를 고차원 다항식 특징 공간으로 매핑하고 커널 기반 최적화를 통해 질서를 최소화함으로써, 결측 데이터 보정, 부분공간 군집, 동작 캡처 복원, 전도학습 등에서 최신 기법들보다 뛰어난 복원 정확도를 달성한다.

ABSTRACT

This paper develops new methods to recover the missing entries of a high-rank or even full-rank matrix when the intrinsic dimension of the data is low compared to the ambient dimension. Specifically, we assume that the columns of a matrix are generated by polynomials acting on a low-dimensional intrinsic variable, and wish to recover the missing entries under this assumption. We show that we can identify the complete matrix of minimum intrinsic dimension by minimizing the rank of the matrix in a high dimensional feature space. We develop a new formulation of the resulting problem using the kernel trick together with a new relaxation of the rank objective, and propose an efficient optimization method. We also show how to use our methods to complete data drawn from multiple nonlinear manifolds. Comparative studies on synthetic data, subspace clustering with missing data, motion capture data recovery, and transductive learning verify the superiority of our methods over the state-of-the-art.

연구 동기 및 목표

• 비선형적 또는 다중 부분공간적 구조로 인해 저질서 행렬 복원(LRMC) 기법이 고계수 행렬을 다룰 수 없는 한계를 해결한다.
• 매트릭스의 열들이 저차원 잠재 변수의 다항식 매핑에 의해 생성되는 새로운 생성 모델을 개발한다.
• 고차원 다항식 특징 공간에서 질서를 최소화하는 커널 기반 최적화 프레임워크를 제안하여 결측 항목을 복원한다.
• 다양한 비선형 다양체 또는 다중 부분공간적 구조를 가진 데이터에 대해 효과적인 매트릭스 복원을 가능하게 한다.
• 부분공간 군집, 동작 캡처 복원, 전도학습에서 결측 데이터가 있는 상황에서 최신 기법의 성능을 초월함을 입증한다.

제안 방법

• 데이터 매트릭스 X가 저차원 잠재 변수 z ∈ ℝ^d 를 ℝ^m 로 매핑하는 해석적 함수 f에 의해 생성된다고 가정하며, 이로 인해 고계수 또는 전순위 X 가 도출된다.
• q차 다항식 특징 매핑 φ 를 적용하여 X 를 더 고차원 공간으로 변환하며, 이로 인해 변환된 매트릭스 φ(X) 는 약간의 저질서성을 띈다.
• 특징 공간에서의 질서 최소화 문제로 행렬 복원을 공식화하며, 커널 기법을 활용한 핵심 노름의 새로운 근사화를 제안한다.
• 두 가지 변형을 제안한다: Schatten-p 노름 근사화를 사용하는 PMC-S와 가중 핵심 노름을 사용하는 PMC-W로, 양자화된 다중 방법(ADMM)을 통해 효율적으로 최적화된다.
• 고차원 특징 공간에서의 내적을 명시적인 계산 없이 암묵적으로 계산하기 위해 커널 기법을 사용함으로써 계산 효율성을 향상시킨다.
• 이론적 분석을 통해 φ(X) 가 저질서 매트릭스에 의해 근사화될 때의 오차는 다항식 차수를 높일수록 감소하며, 더 매끄러운 함수일수록 더욱 유리함을 입증함으로써 이 방법의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 다항식 특징 매핑이 비선형 매핑에 의해 생성된 고계수 매트릭스의 저내재 차원 구조를 효과적으로 포착할 수 있는가?
• RQ2 커널 유도 다항식 특징 공간에서의 질서 최소화가 비선형 또는 다중 부분공간 데이터의 결측 항목 복원에서 전통적인 저질서 행렬 복원 기법보다 우수한 성능을 보일 수 있는가?
• RQ3 제안된 다항식 생성 모델 하에서 정확한 복원을 위해 필요한 이론적 샘플링 복잡도는 얼마인가?
• RQ4 제안된 방법은 부분공간 군집, 동작 캡처 복원, 결측 데이터가 있는 전도학습과 같은 실용적 응용에서 어떻게 성능을 발휘하는가?
• RQ5 기존 기법들보다 다중 비선형 다양체 또는 복잡한 다중 부분공간 구조를 가진 데이터를 더 효과적으로 처리할 수 있는가?

주요 결과

• 다양한 다항식 차수 k 가 증가함에 따라, PMC-S와 PMC-W 는 합성 데이터에서 LRMC, SRMC 및 기타 최신 기법들보다 유의미하게 낮은 복원 오차(RSE)를 기록한다.
• Hopkins 155 데이터셋에서, PMC-S와 PMC-W 는 LRMC 대비 최대 50%, SRMC 대비 최대 30%까지 부분공간 군집 오차를 감소시키며, 특히 높은 결측 비율 조건에서도 유의미한 성능 향상을 보인다.
• 운동 캡처 데이터 복원에서, PMC-W 는 LRMC 대비 40% 낮은 상대 절대 오차(RAE), SRMC 대비 25% 낮은 오차를 기록하며, 높은 결측 비율과 특징 척도의 변동성 조건에서도 뛰어난 성능을 발휘한다.
• 전도학습 작업에서, PMC-S와 PMC-W 는 제로 채움 보정을 사용한 SVM 대비 최대 50% 낮은 분류 오차를 기록했으며, Mice Protein 및 Shuttle 등의 데이터셋에서 LRMC 및 SRMC 대비 20–40% 낮은 오차를 기록한다.
• 이론적 분석을 통해 제안된 방법의 샘플링 복잡도가 내재 차원 d 와 다항식 차수 q 에 따라 유리하게 스케일링됨을 확인하였으며, 고계수 설정에서 LRMC 대비 우월성을 뒷받침한다.
• 모든 벤치마크에서 PMC-W 는 PMC-S 를 항상 능가하며, 이는 가중 핵심 노름 정규화가 매트릭스 복원에서 강건성과 정확도를 향상시킨다는 것을 시사한다.