[논문 리뷰] A survey of dimensionality reduction techniques

Carlos Óscar S. Sorzano, Javier Vargas외 1명|arXiv (Cornell University)|2014. 03. 12.

Face and Expression Recognition참고 문헌 135인용 수 317

한 줄 요약

이 종합적 서베이는 통계학과 기계 학습 분야의 차원 축소 기법을 포괄적으로 개괄하며, 선형 및 비선형 접근 방식으로 방법을 분류한다. PCA, MDS, Isomap, LLE, 그리고 Laplacian Eigenmaps와 같은 기법들의 수학적 기초를 설명하면서, 높은 차원의 생물학적 및 화학적 데이터를 처리함에 있어 중복성을 줄이고 핵심 정보를 유지하는 데 응용 가능함을 강조한다.

ABSTRACT

Experimental life sciences like biology or chemistry have seen in the recent decades an explosion of the data available from experiments. Laboratory instruments become more and more complex and report hundreds or thousands measurements for a single experiment and therefore the statistical methods face challenging tasks when dealing with such high dimensional data. However, much of the data is highly redundant and can be efficiently brought down to a much smaller number of variables without a significant loss of information. The mathematical procedures making possible this reduction are called dimensionality reduction techniques; they have widely been developed by fields like Statistics or Machine Learning, and are currently a hot research topic. In this review we categorize the plethora of dimension reduction techniques available and give the mathematical insight behind them.

연구 동기 및 목표

• 통계학과 기계 학습 분야에서 개발된 다양한 차원 축소 기법을 분류하고 체계적으로 검토하는 것.
• 생명과학 분야에서 실험 데이터가 수백 또는 수천 개의 측정값을 각 샘플당 생성하는 고차원 데이터 분석의 과제를 해결하는 것.
• 계산 생물학 및 데이터 과학 분야의 연구자들에게 선형 및 비선형 차원 축소 기법의 수학적 통찰을 제공하는 것.
• 데이터 복잡성 감소 시 정보 손실이 최소화되는 핵심 기법의 원리, 가정 및 응용을 이해하는 데 참고 자료로 기능하는 것.

제안 방법

• 논문은 기법의 기초 수학적 구조에 따라 차원 축소 기법을 선형 및 비선형 카테고리로 분류한다.
• 공분산 행렬의 고유값 분해를 사용한 고전적 기법인 주성분 분석(PCA)을 설명한다.
• 이웃성 그래프 상의 최단 경로를 통해 다양체 위의 지오데식 거리를 통합함으로써 고전적 MDS를 확장한 Isomap과 같은 비선형 기법을 상세히 기술한다.
• 각 점을 이웃 점들의 선형 조합을 사용해 재구성함으로써 국소적 이웃 관계를 유지하는 국소선형통합(LLE)을 기술한다.
• 그래프 라플라시안을 사용하여 국소 재구성 오차를 최소화하면서도 이웃 구조를 유지하는 데 초점을 맞춘 라플라시안 고유사상(Laplacian Eigenmaps)을 제시한다.
• 가정, 계산 복잡도, 다양한 데이터 유형 및 노이즈 수준에 대한 적합성 기준에 따라 기법들을 비교한다.

실험 결과

연구 질문

• RQ1 통계학과 기계 학습 분야의 주요 차원 축소 기법들이 기반한 기본 수학 원리는 무엇인가?
• RQ2 PCA와 같은 선형 기법이 Isomap과 LLE와 같은 비선형 기법에 비해 고차원 공간에서 데이터 구조를 어떻게 유지하는가?
• RQ3 실제 생물학적 및 화학적 데이터 세트에 적용했을 때 각 차원 축소 기법의 핵심 가정과 제약 조건은 무엇인가?
• RQ4 이러한 기법들은 생명과학 분야의 실험에서 흔히 발견되는 중복성과 노이즈가 많은 데이터를 어떻게 다루는가?
• RQ5 복잡한 데이터 세트에서 국소적 구조와 전반적 구조를 가장 잘 유지하는 데 가장 적합한 차원 축소 기법은 무엇인가?

주요 결과

• 이 서베이는 선형 기법인 PCA가 선형 구조를 가진 데이터에 효과적이며 계산적으로 효율적임을 입증하지만, 복잡한 비선형 다양체를 포착하지 못할 수 있음을 밝힌다.
• Isomap, LLE, 그리고 라플라시안 고유사상과 같은 비선형 기법은 고차원 공간에 잠겨 있는 저차원 다양체 위에 존재하는 데이터에 더 적합하며, 국소 기하학적 관계를 유지한다.
• 각 기법의 성능은 데이터의 내재 기하학, 노이즈 수준, 샘플링 조밀도에 크게 의존하며, 어떤 한 기법이 항상 최적은 아님을 확인한다.
• 논문은 Isomap이 지오데식 거리를 모델링하여 전반적 구조를 포착하는 데 반해, LLE와 라플라시안 고유사상은 국소 이웃 보존에 초점을 맞춘다고 강조한다.
• 특히 노이즈가 많거나 희박한 데이터 설정에서 비선형 기법의 성공 여부는 이웃 수의 적절한 선택에 따라 크게 달라지므로, 이웃 크기와 같은 매개변수의 적절한 설정이 매우 중요하다고 지적한다.
• 서베이는 고차원 생물학적 데이터에서의 중복성 감소를 위해 차원 축소가 필수적이며, 이는 체계 생물학과 생물정보학 분야에서의 후속 분석을 더 효과적으로 가능하게 한다고 결론 내린다.