[논문 리뷰] Contrastive Principal Component Analysis

Abubakar Abid, Martin Jinye Zhang외 2명|arXiv (Cornell University)|2017. 09. 20.

Spectroscopy and Chemometric Analyses참고 문헌 17인용 수 16

한 줄 요약

이 논문은 표준 주성분 분석(PCA)의 일반화인 대비 주성분 분석(cPCA)을 소개한다. cPCA는 목표 데이터셋의 저차원적 구조를 배경 데이터셋과 대비시켜, 목표 데이터셋에서는 분산을 최대화하고 배경 데이터셋에서는 최소화함으로써, 특정 데이터셋에만 국한된 구조를 식별한다. 이 방법은 노이즈가 많은 이미지에서 암 아형이나 숫자 특징과 같은 데이터셋 고유의 패턴을 효과적으로 분리하여, 표준 PCA보다 발견 및 시각화 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

We present a new technique called contrastive principal component analysis (cPCA) that is designed to discover low-dimensional structure that is unique to a dataset, or enriched in one dataset relative to other data. The technique is a generalization of standard PCA, for the setting where multiple datasets are available -- e.g. a treatment and a control group, or a mixed versus a homogeneous population -- and the goal is to explore patterns that are specific to one of the datasets. We conduct a wide variety of experiments in which cPCA identifies important dataset-specific patterns that are missed by PCA, demonstrating that it is useful for many applications: subgroup discovery, visualizing trends, feature selection, denoising, and data-dependent standardization. We provide geometrical interpretations of cPCA and show that it satisfies desirable theoretical guarantees. We also extend cPCA to nonlinear settings in the form of kernel cPCA. We have released our code as a python package and documentation is on Github.

연구 동기 및 목표

• 인구통계학적 요소나 배경 노이즈가 분산을 지배할 경우, 표준 PCA가 의미 있는 데이터셋 고유의 패턴을 효과적으로 분리하지 못하는 한계를 해결한다.
• 특정 데이터셋에서 다른 데이터셋에 비해 풍부한 저차원 부분공간을 체계적으로 발견할 수 있는 방법을 개발한다. 특히 혼동 요인들이 존재하는 환경에서 유의미하다.
• 복잡한 배경이 존재하는 상황에서 암 아형 식별이나 이미지 내 숫자 인식과 같은 데이터 탐색을 효과적으로 지원한다.
• 상호작용적 실시간 데이터 분석을 뒷받침할 수 있는 이론적 보장과 계산 효율성을 제공한다.
• 비선형 설정으로의 확장을 위해 커널 cPCA를 통해 데이터 내 복잡한 비선형 대비를 포착할 수 있도록 한다.

제안 방법

• cPCA를 일반화된 고유값 문제로 공식화하여, 목표 데이터셋에서는 분산이 높고 배경 데이터셋에서는 분산이 낮은 방향을 최적화한다.
• 배경 데이터셋 분산의 상대적 중요도를 제어할 수 있도록 대비 파라미터 α를 도입함으로써 민감도와 특이도 사이의 탄력적 트레이드오프를 가능하게 한다.
• 목표 및 배경 데이터셋의 공분산 구조를 통합한 수정된 커널 행렬을 사용하여 닫힌 형태의 해를 유도한다.
• 다항식 커널을 사용하여 데이터를 고차원 특징 공간으로 암묵적으로 사영함으로써, 비선형 대비가 선형으로 분리 가능한 상태로 만든다.
• 하위공간 군집화 기반의 자동 α 선택 전략을 도입하여 수동 튜닝 없이도 가장 정보적인 대비 성분을 식별한다.
• 결과로 도출된 고유벡터를 사용해 데이터를 상위 k개의 대비 성분에 투영함으로써, 대비 부분공간에서의 시각화 및 후속 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인구통계학적 변동이 상위 PCA 성분을 지배할 경우, cPCA는 유전자 발현 데이터에서 생물학적으로 의미 있는 아형을 효과적으로 분리할 수 있는가?
• RQ2 배경 무늬(예: 잔디)가 상위 주성분을 지배할 경우, 표준 PCA가 실패하는 상황에서 cPCA는 이미지 내 손글씨 숫자 특징을 회복할 수 있는가?
• RQ3 cPCA는 합성 및 실제 데이터에서 비선형 대비적 구조를 식별하는 데 있어 표준 PCA 및 커널 PCA와 비교해 어떻게 성능을 발휘하는가?
• RQ4 대비 파라미터 α가 발견된 성분의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 cPCA는 표준 PCA와 유사한 계산 비용을 가지므로 상호작용적 데이터 탐색 워크플로우에 효율적으로 적용될 수 있는가?

주요 결과

• 복잡한 배경이 존재하는 이미지에서 cPCA는 표준 PCA가 숫자 간을 구분하지 못하는 상황에서도 손글씨 숫자를 효과적으로 분리한다.
• 유전자 발현 데이터에서 cPCA는 인구통계학적 변동을 억제함으로써 암 아형을 식별한다. 이는 이전에 상위 PCA 성분를 지배하던 요소이다.
• 커널 cPCA는 선형 cPCA와 표준 PCA가 클러스터를 분리하지 못하는 합성 데이터에서 비선형 하위군을 성공적으로 식별한다.
• 자동 α 선택 전략은 수동 튜닝 없이 다양한 데이터셋에서 정보적인 대비 성분을 효과적으로 식별한다.
• cPCA는 표준 PCA와 유사한 계산 비용을 기록하여 실시간 상호작용적 데이터 탐색을 가능하게 한다.
• 이론적 분석을 통해 cPCA 성분가 바람직한 성질(정규직교성 및 정의된 목적함수 하에서 최적의 분산 대비)을 만족함을 확인하였다.