[논문 리뷰] Unlabeled Principal Component Analysis

Yunzhen Yao, Liangzu Peng외 1명|arXiv (Cornell University)|2021. 01. 23.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 열 원소가 임의로 순서가 뒤바뀐 경우에 낮은 질량의 데이터 행렬을 복원하는 데 사용되는 Unlabeled Principal Component Analysis (UPCA)를 소개한다. 대수기하학을 사용하여 일반적인 조건 하에서 진짜 열 공간이 순서 뒤바꿈을 제외하고 유일하게 복원 가능하다는 것을 증명하고, 강건한 PCA와 대응관계 없이 회귀하는 방법을 조합한 두 단계 알고리즘을 제안하여 순서가 뒤바뀐 데이터를 효율적으로 재구성한다. 이는 얼굴 영상 패치에 대해 초당 성능을 달성한다.

ABSTRACT

We consider the problem of principal component analysis from a data matrix where the entries of each column have undergone some unknown permutation, termed Unlabeled Principal Component Analysis (UPCA). Using algebraic geometry, we establish that for generic enough data, and up to a permutation of the coordinates of the ambient space, there is a unique subspace of minimal dimension that explains the data. We show that a permutation-invariant system of polynomial equations has finitely many solutions, with each solution corresponding to a row permutation of the ground-truth data matrix. Allowing for missing entries on top of permutations leads to the problem of unlabeled matrix completion, for which we give theoretical results of similar flavor. We also propose a two-stage algorithmic pipeline for UPCA suitable for the practically relevant case where only a fraction of the data has been permuted. Stage-I of this pipeline employs robust-PCA methods to estimate the ground-truth column-space. Equipped with the column-space, stage-II applies methods for linear regression without correspondences to restore the permuted data. A computational study reveals encouraging findings, including the ability of UPCA to handle face images from the Extended Yale-B database with arbitrarily permuted patches of arbitrary size in $0.3$ seconds on a standard desktop computer.

연구 동기 및 목표

• 각 열의 데이터 항목이 임의로 순서가 뒤바뀌어 표준 PCA를 적용할 수 없는 상황에서 주성분 분석의 과제를 해결하기 위해.
• 일반적인 조건 하에서 좌표 순서 뒤바꿈을 제외하고 진짜 데이터 부분공간이 유일하게 복원 가능하다는 이론적 보장을 수립하기 위해.
• 결측 항목을 처리할 수 있도록 프레임워크를 확장하여 유사한 이론적 기초를 가진 '순서 없는 행렬 완성'을 도입하기 위해.
• 부분적인 순서 뒤바꿈이 있는 실세계 데이터에 대해 실용적인 두 단계 알고리즘을 개발하여 강건한 PCA와 대응관계 없이 회귀하는 방법을 활용하기 위해.
• 특히 임의로 순서가 뒤바뀐 패치를 가진 얼굴 영상과 같은 실세계 데이터셋에서의 경험적 효용성을 입증하기 위해.

제안 방법

• 일반적인 데이터에 대해, 데이터를 설명하는 최소 차원 부분공간이 좌표 순서 뒤바꿈을 제외하고 유일하다는 것을 대수기하학을 사용해 증명한다.
• 진짜 데이터 행렬의 행 순서 뒤바꿈에 해당하는 해를 가진 순서 불변 다항방정식 시스템을 수립한다.
• 두 단계 알고리즘을 제안한다: 제1단계는 순서 뒤바꿈이 있더라도 진짜 열 공간을 추정하기 위해 강건한 PCA를 사용한다.
• 제2단계는 추정된 열 공간을 기반으로 대응관계 없이 선형 회귀 방법을 적용하여 원래의 데이터 구조를 복원한다.
• 효율적이고 확장 가능한 계산 파이프라인을 활용하여 표준 하드웨어에서 얼굴 영상 패치에 대해 0.3초 내로 재구성 성능을 달성한다.
• 결측 항목을 처리할 수 있도록 프레임워크를 확장하여 순서 없는 행렬 완성에 대한 이론적 결과를 제공한다.

실험 결과

연구 질문

• RQ1 임의로 순서가 뒤바뀐 열 항목을 가진 데이터 행렬에서, 좌표 순서 뒤바꿈을 제외하고 진짜 저질량 부분공간을 유일하게 복원할 수 있는가?
• RQ2 순서 없는 행렬 복원의 해 공간은 어떤 구조를 가지며, 일반적인 조건 하에서 몇 개의 해가 존재하는가?
• RQ3 강건한 PCA와 대응관계 없이 회귀하는 방법을 어떻게 조합하여 실세계 데이터에서 순서가 뒤바뀐 데이터를 재구성할 수 있는가?
• RQ4 항목이 순서가 뒤바뀌었고, 동시에 결측된 경우에도 매트릭스 완성에 대해 어떤 이론적 보장이 존재하는가?
• RQ5 제안된 방법은 얼굴 영상과 같이 임의의 패치 순서 뒤바꿈이 있는 실세계 데이터를 얼마나 효율적으로 재구성할 수 있는가?

주요 결과

• 일반적인 데이터에 대해, 순서가 뒤바뀐 데이터를 설명하는 최소 차원 부분공간이 좌표 순서 뒤바꿈을 제외하고는 유일하게 존재한다.
• 문제에서 유도된 다항방정식 시스템은 유한한 수의 해를 가지며, 각 해는 진짜 데이터 행렬의 행 순서 뒤바꿈에 해당한다.
• 두 단계 알고리즘이 부분적으로만 순서가 뒤바뀐 경우에도 높은 정확도로 순서가 뒤바뀐 데이터를 성공적으로 재구성한다.
• 확장된 Yale-B 얼굴 데이터베이스에서, 표준 데스크톱 컴퓨터에서 임의로 순서가 뒤바뀐 패치를 가진 영상을 단 0.3초 만에 재구성한다.
• 순서 없는 행렬 완성에 대한 이론적 결과는 프레임워크를 결측 항목과 임의의 순서 뒤바꿈을 모두 처리할 수 있도록 확장한다.
• 경험적 결과는 방법의 강인성과 효율성을 확인하며, 실세계 응용에 대한 실용적 타당성을 입증한다.