[논문 리뷰] Min-wise hashing for large-scale regression and classication with sparse data

Rajen D. Shah, Nicolai Meinshausen|arXiv (Cornell University)|2013. 08. 06.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 5

한 줄 요약

이 논문은 현대 데이터 응용에서 흔한 대규모 희소 설계 행렬을 가진 대규모 회귀 및 분류 문제를 위한 확장 가능한 솔루션으로 b비트 최소-위즈 해싱을 제안한다. 내적을 효율적으로 근사하고 차원을 압축하면서 통계적 성질을 유지함으로써, 수백만 개의 특징과 관측치를 가진 데이터셋에 대해 계산적으로 실현 가능하면서도 통계적으로 타당한 분석을 가능하게 한다.

ABSTRACT

We study large-scale regression analysis where both the number of variables, p, and the number of observations, n, may be large and in the order of millions or more. This is very dierent from the now well-studied high-dimensional regression context of \large p, small n. For example, in our \large p, large n setting, an ordinary least squares estimator may be inappropriate for computational, rather than statistical, reasons. In order to make progress, one must seek a compromise between statistical and computational eciency. Furthermore, in contrast to the common assumption of signal sparsity for high-dimensional data, here it is the design matrices that are typically sparse in applications. Our approach for dealing with this large, sparse data is based on b-bit min-wise hashing

연구 동기 및 목표

• 수백만 개의 특징과 관측치를 가진 대규모 회귀 문제에서 일반 최소 제곱법의 계산 비가용성을 해결한다.
• 실제로 n과 p가 모두 큰 상황에서 작고 n이 큰 p에 대한 전통적 고차원 회귀 방법의 한계를 극복한다.
• 희소 설계 행렬에 대해 계산 비용을 크게 줄이면서도 통계적 효율성을 유지하는 방법을 개발한다.
• 차원성과 희소성에도 불구하고 예측 정확도를 유지하는 표준 최소 제곱법의 확장 가능한 대안을 제공한다.

제안 방법

• 고차원 희소 특징 벡터를 압축하기 위해 b비트 최소-위즈 해싱을 적용하여 고정 길이의 압축 스케치로 변환한다.
• 최소-위즈 해싱 성질을 활용해 희소 벡터 간의 재현율 유사도를 근사적으로 유지함으로써 효율적인 유사도 추정을 가능하게 한다.
• 스케칭 기법을 활용해 희소 특징 벡터와 반응 벡터 간의 내적을 근사한다.
• 해싱된 특징에서 압축된 설계 행렬을 구성하고, 이를 표준 회귀 또는 분류 모델에 사용한다.
• 원래 특징 차원과 무관하게 각 특징당 고정된 작은 크기의 스케치(b비트)를 사용함으로써 계산 효율성을 확보한다.
• 해싱 과정을 통해 특징 벡터 간의 상대적 관계를 유지함으로써 통계적 일致성을 유지한다.

실험 결과

연구 질문

• RQ1 b비트 최소-위즈 해싱은 희소 데이터를 가진 대규모 회귀 문제에서 일반 최소 제곱법에 대한 계산적으로 실현 가능한 대안이 될 수 있는가?
• RQ2 해싱 기반 근사가 원래 회귀 문제의 통계적 성질을 얼마나 잘 유지하는가?
• RQ3 대규모 희소 데이터셋에서 b비트 최소-위즈 해싱을 사용할 경우 계산 효율성과 예측 정확도 사이의 상충 관계는 어떠한가?
• RQ4 특징 수와 관측 수가 모두 수백만 단위일 때도 이 방법이 효과적으로 작동하는가?
• RQ5 평균 제곱 오차와 분류 정확도 측면에서 해싱 기반 방법은 표준 회귀 방법보다 어떻게 비교되는가?

주요 결과

• 제안된 방법은 표준 최소 제곱법이 계산적으로 비가용한 수백만 개의 특징과 관측치를 가진 데이터셋에서의 회귀 및 분류를 가능하게 한다.
• b비트 최소-위즈 해싱은 내적을 높은 정확도로 근사하여 희소 데이터의 핵심 통계적 관계를 유지한다.
• 메모리 사용량과 계산 시간을 크게 줄였지만, 전체 데이터 방법과 비교해도 예측 성능을 유사하게 유지한다.
• 다양한 수준의 희소성에 대해 강건하며 데이터 크기가 증가함에 따라 효율적으로 확장된다.
• 실험 결과, 작은 b 값(예: b=8)을 사용하더라도 해싱 기반 모델이 낮은 평균 제곱 오차와 높은 분류 정확도를 달성함을 보였다.
• 대규모 희소 데이터셋에서 기준선 차원 축소 기법에 비해 속도와 정확도 측면에서 모두 이점이 있다.