[논문 리뷰] A survey of dimensionality reduction techniques based on random projection

Haozhe Xie, Jie Li외 1명|arXiv (Cornell University)|2017. 06. 14.

Face and Expression Recognition참고 문헌 80인용 수 44

한 줄 요약

이 종합 검토는 랜덤 프로젝션(RP)-기반 차원 축소 기법을 검토하며, 이를 특징 추출, 차원 증가, 앙상블 접근법으로 분류한다. 성능의 강점과 한계를 평가하여 고차원 데이터에 적합한 방법을 선택하는 데 도움을 주며, 왜곡과 계산 비용과 같은 과제를 부각시킨다.

ABSTRACT

Dimensionality reduction techniques play important roles in the analysis of big data. Traditional dimensionality reduction approaches, such as principal component analysis (PCA) and linear discriminant analysis (LDA), have been studied extensively in the past few decades. However, as the dimensionality of data increases, the computational cost of traditional dimensionality reduction methods grows exponentially, and the computation becomes prohibitively intractable. These drawbacks have triggered the development of random projection (RP) techniques, which map high-dimensional data onto a low-dimensional subspace with extremely reduced time cost. However, the RP transformation matrix is generated without considering the intrinsic structure of the original data and usually leads to relatively high distortion. Therefore, in recent years, methods based on RP have been proposed to address this problem. In this paper, we summarize the methods used in different situations to help practitioners to employ the proper techniques for their specific applications. Meanwhile, we enumerate the benefits and limitations of the various methods and provide further references for researchers to develop novel RP-based approaches.

연구 동기 및 목표

• 고차원 데이터에 대한 RP 기반 차원 축소 기법에 대한 종합적인 검토를 제공하는 것.
• 고차원 데이터에서의 높은 왜곡과 작업에 특화된 구조의 부재를 해결함으로써 RP 성능을 향상시키는 방법을 식별하고 분류하는 것.
• 데이터 특성과 응용 요구사항에 기반해 올바른 RP 기반 방법을 선택할 수 있도록 연구자들에게 안내하는 것.
• 특히 실시간 및 복잡한 데이터 작업을 위한 RP 분야에서의 열린 과제와 향후 연구 방향을 부각하는 것.

제안 방법

• RP 성능 향상 방법을 세 가지 범주로 분류: 특징 추출, 차원 증가, 앙상블 접근법.
• 특징 추출 방법을 분석하며, 일반 목적 및 응용 분야에 특화된 변형을 포함하여 고차원 데이터에서 분류 가능한 특징을 추출하는 데 목적이 있다.
• 차원 증가 기법을 검토하며, ELM 및 사각형 필터와 같은 기법들은 저차원 특징을 고차원 공간으로 투영하여 선형 분리 가능성 향상을 도모한다.
• 여러 개의 RP 인스턴스를 투표 방식이나 확률적 클러스터링(예: EM 기반 집계)을 사용해 조합하는 앙상블 방법을 검토하여 정확도와 일반화 능력을 향상시킨다.
• 클러스터 유사도를 쌍별 확률 점수로 계산하는 방식을 활용해, EM 기반 모델 집계를 통한 RP와 클러스터링의 융합을 평가한다.
• 핵심 RP 공식 적용: $\mathbf{X}^{RP}_{n\times k} = \mathbf{X}_{n\times d}\mathbf{W}_{d\times k}$, 거리 유지 보장을 위한 Johnson-Lindenstrauss 렘마에 기반한다.

실험 결과

연구 질문

• RQ1 다양한 RP 기반 방법은 고차원 데이터에서 계산 효율성, 왜곡, 성능 측면에서 어떻게 비교되는가?
• RQ2 특징 추출, 차원 증가, 앙상블 기반 RP 접근법의 주요 장점과 한계는 무엇인가?
• RQ3 어떤 상황에서 앙상블 기반 RP 방법이 단일 RP 또는 PCA와 같은 전통적 차원 축소 기법보다 우월한가?
• RQ4 어떻게 하면 RP를 클러스터링 알고리즘과 효과적으로 융합하여 안정성과 클러스터 품질을 향상시킬 수 있는가?
• RQ5 복잡하고 실시간 응용을 위한 정확하고 낮은 왜곡을 갖춘 차원 축소를 달성하는 데 있어 열려 있는 과제는 무엇인가?

주요 결과

• 투표 또는 EM 기반 클러스터링 집계를 사용하는 다중 RP 인스턴스 기반 앙상블 방법은 단일 RP나 PCA 기반 방법보다 더 안정적이고 정확한 결과를 산출한다.
• RP + EM 앙상블 접근법은 EM이 국소 최적해에 수렴하는 경향이 있음에도 불구하고, PCA + EM보다 더 나은 클러스터링 성능과 더 강건한 클러스터를 생성했다.
• RP 기반 앙상블 방법은 기준 방법 대비 약물-타겟 상호작용 예측에서 4.5%~8.2% 향상된 분류 정확도를 기록했으며, 이명성 말하기 인식에서는 5.23% 향상되었다.
• 특징 추출 접근법, 특히 응용 분야에 특화된 것은 일반 목적의 방법보다 분류 가능한 특징을 더 잘 찾는다. 그러나 계산 비용이 높고 일반화 능력이 떨어진다.
• ELM 및 사각형 필터와 같은 차원 증가 기법은 빠르지만 복잡한 특징을 잘 맞추지 못하고 소수의 샘플이 많은 p-차원 데이터셋에서 과적합 경향이 있다.
• 표준 RP는 효율성이 높지만 내재된 데이터 구조를 忽시함으로써 높은 왜곡을 유발하므로 고급 RP 기반 기법 개발이 필요하다.