[논문 리뷰] Sparse Matrix-based Random Projection for Classification

Weizhi Lu, Weiyu Li외 2명|arXiv (Cornell University)|2013. 12. 12.

Face and Expression Recognition참고 문헌 21인용 수 4

한 줄 요약

이 논문은 열당 정확히 하나의 비영원소를 가지는 희박한 랜덤 투영 행렬을 제안한다—분류 작업에서 최적의 특징 선택 성능을 달성한다. 비록 희박함에도 불구하고 존슨-린든스트라우스 보조정리를 통해 쌍별 거리 유지가 가능하며, 투영 차원이 특징 수보다 크게 작지 않은 경우 더 높은 성능을 보이며, 계산 효율성과 함께 합성 및 실세계 데이터에서 분류 정확도 향상을 제공한다.

ABSTRACT

As a typical dimensionality reduction technique, random projection can be simply implemented with linear projection, while maintaining the pairwise distances of high-dimensional data with high probability. Considering this technique is mainly exploited for the task of classification, this paper is developed to study the construction of random matrix from the viewpoint of feature selection, rather than of traditional distance preservation. This yields a somewhat surprising theoretical result, that is, the sparse random matrix with exactly one nonzero element per column, can present better feature selection performance than other more dense matrices, if the projection dimension is sufficiently large (namely, not much smaller than the number of feature elements); otherwise, it will perform comparably to others. For random projection, this theoretical result implies considerable improvement on both complexity and performance, which is widely confirmed with the classification experiments on both synthetic data and real data.

연구 동기 및 목표

• 랜덤 투영을 거리 유지 도구로 보는 것에서 벗어나, 분류를 위한 특징 선택 메커니즘으로 재정의하기 위해.
• 랜덤 투영 행렬의 희박성 수준을 변화시켰을 때 특징 선택 성능에 미치는 영향을 조사하기 위해.
• 분류 작업에서 더 두꺼운 행렬의 성능을 유지하거나 초월할 수 있는 가장 희박한 랜덤 행렬 구조를 특정하기 위해.
• 합성 및 실세계 데이터 세트(얼굴 이미지, DNA 마이크로어레이, 텍스트 문서 포함)에 대한 광범위한 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 각 열에 정확히 하나의 비영원소가 포함되어 있어 최대한의 희박성을 확보하는 {0, ±1} 랜덤 투영 행렬을 구성하는 방법.
• 내적과 노름에 대한 확률적 경계를 사용하여, 투영 행렬의 희박성 함수로서 기대 특징 선택 성능를 모델링하기 위해 이론적 분석을 수행한다.
• 투영 중 데이터 구조의 안정성을 보장하기 위해 존슨-린든스트라우스 보조정리를 제약 조건으로 적용하여, 축소된 공간에서의 분류 가능성을 유지한다.
• 다양한 희박성 수준에서, 투영된 데이터 벡터와 랜덤 투영 행렬의 행 간 기대 절대 내적에 대한 이론적 경계를 유도한다.
• 고차원 데이터에서의 이진 분류 실험을 통해 제안된 희박한 행렬을 더 두꺼운 행렬(예: 가우시안, ±1 행렬)과 비교한다.
• 열당 정확히 하나의 비영원소를 가지는 행렬이 더 두꺼운 대안보다 성능을 뛰어넘는 조건을 이론적으로 도출한다. 특히 투영 차원이 특징 수에 비해 상대적으로 클 경우에 유리하다.

실험 결과

연구 질문

• RQ1 열당 정확히 하나의 비영원소를 가지는 더 희박한 랜덤 투영 행렬이 분류 작업에서 특징 선택에 있어 더 두꺼운 행렬보다 뛰어나게 성능을 발휘하는가?
• RQ2 열당 정확히 하나의 비영원소를 가지는 행렬이 더 두꺼운 행렬의 성능을 유지하거나 초월하는 조건은 무엇인가?
• RQ3 랜덤 행렬의 희박성이 기대 특징 선택 성능에 미치는 영향는 어떻게 되며, 이는 이론적으로 모델링할 수 있는가?
• RQ4 제안된 희박한 행렬은 JL 보조정리를 통해 충분한 거리 구조를 유지하면서도 뛰어난 분류 성능를 달성할 수 있는가?
• RQ5 희박한 행렬의 이론적 이점이 고차원 데이터에서의 실세계 분류 작업에 실제로 나타나는가?

주요 결과

• 투영 차원이 특징 수보다 크게 작지 않은 경우, 열당 정확히 하나의 비영원소를 가지는 제안된 희박한 랜덤 행렬이 더 두꺼운 행렬보다 더 뛰어난 특징 선택 성능를 보인다.
• 성능 우월성은 희박한 랜덤 행렬에 대한 기대 내적 행동과 유도된 확률적 경계에 기반한 이론적 근거를 지닌다.
• 투영 차원이 충분히 클 경우, 합성 및 실세계 분류 작업 모두에서 희박한 행렬이 더 두꺼운 대안보다 뛰어난 성능를 보인다.
• 존슨-린든스트라우스 보조정리를 통해 거리 유지가 유지되어, 투영된 공간에서의 데이터 구조가 안정된다.
• 얼굴 이미지, DNA 마이크로어레이, 텍스트 문서에 대한 분류 실험을 통해 제안된 행렬이 훨씬 낮은 계산 복잡도로 뛰어난 또는 동등한 성능를 보임을 확인하였다.
• 이론적 분석을 통해, 투영 가중치의 평균이 분산에 비해 클 경우, 희박한 행렬의 기대 특징 선택 성능가 더 두꺼운 행렬의 성능를 초월함을 보였다.