[논문 리뷰] Non-linear Dimensionality Regularizer for Solving Inverse Problems

Ravi Garg, Anders Eriksson외 1명|arXiv (Cornell University)|2016. 03. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 9

한 줄 요약

이 논문은 커널-PCA의 암묵적 특징 공간에서 저질서 구조를 강제하는 새로운 비선형 차원 축소 정규화 방법을 제안한다. 이는 사전 훈련 없이도 안정적인 역문제 해결을 가능하게 하며, 커널 임bedded 형태 벡터의 핵노름을 최소화함으로써 비틀림 없는 구조 복원과 누락된 데이터 복구에서 최신 기술 수준의 성능을 달성한다. 노이즈와 가림 현상이 있는 조건에서도 성능이 뛰어나다.

ABSTRACT

Consider an ill-posed inverse problem of estimating causal factors from observations, one of which is known to lie near some (un- known) low-dimensional, non-linear manifold expressed by a predefined Mercer-kernel. Solving this problem requires simultaneous estimation of these factors and learning the low-dimensional representation for them. In this work, we introduce a novel non-linear dimensionality regulariza- tion technique for solving such problems without pre-training. We re-formulate Kernel-PCA as an energy minimization problem in which low dimensionality constraints are introduced as regularization terms in the energy. To the best of our knowledge, ours is the first at- tempt to create a dimensionality regularizer in the KPCA framework. Our approach relies on robustly penalizing the rank of the recovered fac- tors directly in the implicit feature space to create their low-dimensional approximations in closed form. Our approach performs robust KPCA in the presence of missing data and noise. We demonstrate state-of-the-art results on predicting missing entries in the standard oil flow dataset. Additionally, we evaluate our method on the challenging problem of Non-Rigid Structure from Motion and our approach delivers promising results on CMU mocap dataset despite the presence of significant occlusions and noise.

연구 동기 및 목표

• 알 수 없는 비선형 저차원 다양체 근처에 해가 존재하는 불안정한 역문제를 해결하는 데 도전한다.
• 사전 훈련이 필요하고 누락된 데이터 및 노이즈에 취약한 표준 비선형 차원 축소 기법의 한계를 극복한다.
• 커널 유도 특징 공간에서 데이터의 질서를 직접 벌점으로 삼아 저차원 구조를 강제하는 정규화 프레임워크를 개발한다.
• 사전 영상 계산이나 사전 다양체 학습 없이도 에너지 최소화 공식에 직접 통합할 수 있도록 한다.
• 비틀림 없는 구조 복원 및 도전적인 조건에서의 행렬 완성과 같은 실제 문제에 적용 가능함을 입증한다.

제안 방법

• 커널-PCA를 암묵적 특징 공간에서 저질서 구조를 강제하는 핵노름 정규화 항을 포함한 에너지 최소화 문제로 재구성한다.
• 커널 기법을 사용해 데이터를 재생 핵 힐버트 공간(RKHS)로 암묵적으로 매핑하고, 변환된 형태 벡터의 핵노름을 통해 저질서 제약을 적용한다.
• 특징 공간에서 인수분해 표현의 핵노름을 최소화하여 커널 임bedded 데이터 행렬의 질서를 직접 벌점으로 삼는다.
• 비틀림 없는 구조 복원(NRSfM)과 같은 역문제의 에너지 최소화 프레임워크에 정규화자를 통합한다.
• 패널티 방법을 사용하여 최적화 문제를 해결하며, 형태와 회전 매개변수 간에 번갈아가며 최소화한다.
• 사전 영상 추정에 의존하지 않고 암묵적 특징 공간에 저차원성 제약을 직접 통합함으로써 노이즈와 누락된 데이터에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련이나 사전 영상 계산 없이도 커널-PCA 프레임워크 내에서 비선형 차원 축소 정규화를 직접 구성할 수 있는가?
• RQ2 커널-PCA 공식의 암묵적 특징 공간에서 저질서 구조를 어떻게 강제할 수 있으며, 이는 노이즈와 누락된 데이터에 대한 강건성을 향상시킬 수 있는가?
• RQ3 이러한 정규화자가 비틀림 없는 구조 복원과 가림, 노이즈가 있는 관측 조건에서 선형 차원 축소 제약보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법이 생성 모델이나 훈련 데이터에 의존하지 않고도 역문제의 에너지 최소화 프레임워크에서 확장 가능하고 효과적인가?
• RQ5 비선형 역문제에서 질서 최소화의 기존 볼록 완화 기법과 비교해 커널 특징 공간에서의 핵노름 정규화는 어떤가?

주요 결과

• 제안된 비선형 차원 축소 정규화 방법은 누락된 항목이 있는 오일 플로우 데이터셋에서 행렬 완성 문제에서 최신 기술 수준의 성능을 달성한다.
• CMU 모캡 데이터셋에서, 이 방법은 노이즈와 가림이 심한 조건에서도 선형 대비 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 커널 임bedded 특징 공간에서 직접 저질서 구조를 강제함으로써 누락된 데이터와 노이즈에 대한 강건성을 입증한다.
• 핵노름 정규화를 포함한 에너지 최소화 프레임워크는 KKT 조건을 만족하는 해로 수렴하며, 최적성에 대한 이론적 보장을 제공한다.
• 기존의 커널-PCA 파이프라인과 달리, 사전 영상 계산이 필요 없이도 역문제 솔버에 직접 통합 가능하다.
• 이 방법은 3차원 재구성, 노이즈 제거, 형태 사전 지식이 있는 물체 분할과 같은 다양한 비지도 추론 문제에 일반화 가능하고 적용 가능하다.