[논문 리뷰] Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 08. 09.

Machine Learning and ELM인용 수 5

한 줄 요약

이 튜토리얼 및 서베이 논문은 랜덤 프로젝션 기법에 대한 종합적인 개요를 제공한다. 여기에는 존슨-린든스트라우스 보조정리, 선형 및 비선형 랜덤 프로젝션, 랜덤 푸리에 특징(RFF), 랜덤 주방 스크린(RKS) 등이 포함된다. 본문은 랜덤 프로젝션 기법이 쌍별 거리를 높은 확률로 유지함을 설명하며, 이론적 근거를 바탕으로 그 효용성을 정당화하고, 저랭크 행렬 근사 및 근사 최근접 이웃 검색과 같은 응용 분야를 조망한다. 또한 ELM 및 앙상블 랜덤 프로젝션과 같은 고급 비선형 방법들에 대해서도 다룬다.

ABSTRACT

This is a tutorial and survey paper on the Johnson-Lindenstrauss (JL) lemma and linear and nonlinear random projections. We start with linear random projection and then justify its correctness by JL lemma and its proof. Then, sparse random projections with $\\ell_1$ norm and interpolation norm are introduced. Two main applications of random projection, which are low-rank matrix approximation and approximate nearest neighbor search by random projection onto hypercube, are explained. Random Fourier Features (RFF) and Random Kitchen Sinks (RKS) are explained as methods for nonlinear random projection. Some other methods for nonlinear random projection, including extreme learning machine, randomly weighted neural networks, and ensemble of random projections, are also introduced.

연구 동기 및 목표

• 차원 축소를 위한 선형 및 비선형 랜덤 프로젝션 방법을 통합적으로 설명하고 서베이하는 것.
• 존슨-린든스트라우스 보조정리와 그 증명을 통해 이론적 기초를 구축하여 랜덤 프로젝션의 효과성을 정당화하는 것.
• 랜덤 프로젝션을 활용한 저랭크 행렬 근사 및 근사 최근접 이웃 검색과 같은 실용적 응용을 탐색하는 것.
• RFF, RKS, ELM 및 앙상블 방법을 포함한 고급 비선형 랜덤 프로젝션 기법을 서베이하는 것.
• 특정 상황에서 학습된 프로젝션 방법에 비해 랜덤 프로젝션의 이론적 및 경험적 이점들을 부각하는 것.

제안 방법

• 존슨-린든스트라우스 보조정리를 유도하고, 랜덤 프로젝션이 쌍별 거리를 높은 확률로 유지함을 보여주는 증명을 제공한다.
• ℓ₁ 노름과 보간 노름을 사용한 희소 랜덤 프로젝션을 도입하여 계산 비용을 줄이면서도 이론적 보장을 유지한다.
• 랜덤 SVD를 통해 행/열을 샘플링하고 재구성함으로써 랜덤 프로젝션을 저랭크 행렬 근사에 적용한다.
• 초구 위로의 랜덤 프로젝션을 사용하여 근사 최근접 이웃 검색을 수행하며, 고차원에서의 측도 집중 현상을 활용한다.
• 랜덤 푸리에 변환을 통해 이동 불변 커널을 근사하는 방식으로, 랜덤 푸리에 특징(RFF)을 비선형 랜덤 프로젝션 방법으로 설명한다.
• 랜덤 특징과 랜덤 가중치를 사용하여 커널 함수를 근사하는 방법으로 랜덤 주방 스크린(RKS)을 소개한다.
• 극단적 학습 기계(ELM), 무작위 가중치를 가진 신경망, 배깅 및 최대 풀링을 활용한 앙상블 기반 랜덤 프로젝션을 포함한 기타 비선형 방법들을 서베이한다.

실험 결과

연구 질문

• RQ1 존슨-린든스트라우스 보조정리는 랜덤 프로젝션을 차원 축소에 사용하는 데 있어 이론적으로 어떻게 정당화하는가?
• RQ2 ℓ₁ 노름과 보간 노름을 사용한 희소 랜덤 프로젝션의 이론적 범위와 오차 보장은 무엇인가?
• RQ3 랜덤 프로젝션은 저랭크 행렬 근사 및 근사 최근접 이웃 검색에 어떻게 효과적으로 적용될 수 있는가?
• RQ4 랜덤 푸리에 특징과 랜덤 주방 스크린은 어떻게 효율적인 비선형 랜덤 프로젝션을 통해 커널 근사를 가능하게 하는가?
• RQ5 앙상블 방법은 랜덤 프로젝션에서 성능과 일반화 성능에 어떤 이점을 제공하는가? 특히 여러 랜덤 프로젝션을 조합할 경우에 대해 설명하라.

주요 결과

• 존슨-린든스트라우스 보조정리는 사용자가 정의한 매개변수에 의해 제한되는 왜곡을 가지며, 점들 간의 쌍별 유클리드 거리를 높은 확률로 유지함을 보장한다.
• ℓ₁ 노름을 사용한 희소 랜덤 프로젝션은 조밀한 프로젝션과 유사한 이론적 보장을 유지하면서 저장 및 계산 비용을 줄인다.
• 초구 위로의 랜덤 프로젝션은 고차원에서의 측도 집중 현상을 활용하여 효율적인 근사 최근접 이웃 검색을 가능하게 한다.
• 랜덤 프로젝션을 활용한 저랭크 행렬 근사는 이론적 한계에 따라 높은 확률로 근사 오차가 거의 최적에 가까워진다.
• 랜덤 푸리에 특징과 랜덤 주방 스크린은 이동 불변 커널을 랜덤 특징으로 근사함으로써 정확한 커널 방법에 비해 확장 가능한 대안을 제공한다.
• 최대 풀링을 통한 여러 랜덤 프로젝션의 조합 또는 다양한 랜덤 프로젝션에서 학습된 분류기 간의 다수결 투표와 같은 앙상블 방법은 분산을 줄이고 일반화 성능을 향상시킨다.