[논문 리뷰] Fully Understanding the Hashing Trick

Casper Benjamin Freksen, Lior Kamma외 1명|arXiv (Cornell University)|2018. 05. 22.

Face and Expression Recognition인용 수 10

한 줄 요약

이 논문은 특성 해싱에서 해싱 기법의 날카운 비율 분석을 제공하여, 입력 벡터의 ℓ∞/ℓ2 비율, 목표 차원 m, 오차 매개변수 ε, δ 사이의 정확한 무한대 비율을 규명한다. m ≥ 2/(ε²δ)일 때 특성 해싱이 ℓ2 노름을 상대 오차 ε 이내로 유지할 확률이 최소 1−δ임을 증명하며, 이론적 분석의 숨겨진 상수가 실제로 1에 매우 가까운 것으로 확인되어 이론의 날카로움이 실질적으로도 성립함을 보여준다.

ABSTRACT

Feature hashing, also known as {\em the hashing trick}, introduced by Weinberger et al. (2009), is one of the key techniques used in scaling-up machine learning algorithms. Loosely speaking, feature hashing uses a random sparse projection matrix $A : \mathbb{R}^n o \mathbb{R}^m$ (where $m \ll n$) in order to reduce the dimension of the data from $n$ to $m$ while approximately preserving the Euclidean norm. Every column of $A$ contains exactly one non-zero entry, equals to either $-1$ or $1$. Weinberger et al. showed tail bounds on $\|Ax\|_2^2$. Specifically they showed that for every $\varepsilon, δ$, if $\|x\|_{\infty} / \|x\|_2$ is sufficiently small, and $m$ is sufficiently large, then $$\Pr[ \; | \;\|Ax\|_2^2 - \|x\|_2^2\; | < \varepsilon \|x\|_2^2 \;] \ge 1 - δ\;.$$ These bounds were later extended by Dasgupta \etal (2010) and most recently refined by Dahlgaard et al. (2017), however, the true nature of the performance of this key technique, and specifically the correct tradeoff between the pivotal parameters $\|x\|_{\infty} / \|x\|_2, m, \varepsilon, δ$ remained an open question. We settle this question by giving tight asymptotic bounds on the exact tradeoff between the central parameters, thus providing a complete understanding of the performance of feature hashing. We complement the asymptotic bound with empirical data, which shows that the constants "hiding" in the asymptotic notation are, in fact, very close to $1$, thus further illustrating the tightness of the presented bounds in practice.

연구 동기 및 목표

• 특성 해싱에서 입력 벡터의 ℓ∞/ℓ2 비율, 목표 차원 m, 오차 매개변수 ε, δ 사이의 정확한 무한대 비율 간의 상호작용을 규명하는 데 목적이 있다.
• 특성 해싱의 성능 한계를 완전하고 날카로운 방식으로 특성화하여 이전의 점근적 한계를 해결하는 데 목적이 있다.
• 광범위한 실증적 평가를 통해 이론적 한계를 검증하여, 점근적 표기법에서 숨겨진 상수가 실세계 환경에서 실제로 1에 매우 가까운 지 확인하는 데 목적이 있다.
• 입력 벡터의 질서가 양호하게 분포되어 있을 경우(낮은 ℓ∞/ℓ2 비율), 특성 해싱이 실질적으로 더 뛰어난 성능을 보임을 보여주는 데 목적이 있다.

제안 방법

• 특성 해싱 행렬 A에 대해 ‖Ax‖₂²가 ‖x‖₂² 주변에 집중되는 정도에 대한 날카운 점근적 한계를 도출하기 위한 새로운 이론적 프레임워크를 제안한다.
• 투영된 벡터의 ℓ2 노름 분포를 독립적이고 유계된 랜덤 변수의 합으로 모델링하여 특성 해싱의 성능을 분석한다.
• 삼단계 실증 평가를 수행한다: (1) 제어된 ℓ∞/ℓ2 비율을 가진 랜덤 벡터 생성, (2) 고정된 m, ε에 대해 실패 확률 δ 측정, (3) δ가 목표 이하로 유지될 수 있는 최대 허용 ℓ∞/ℓ2 비율 ν(m, ε, δ) 추정.
• 측정된 ν 값과 이론적 예측값을 비교하여 이론적 한계의 Θ-표기법에 숨겨진 상수를 실증적으로 추정한다.
• 이론적 보장을 위해 필요한 무작위성을 확보하기 위해 이중 탭루레이션 해싱을 사용하여 효율적이고 통계적으로 강력한 랜덤 투영을 수행한다.
• 재현 가능성과 실험 간 통계적 독립성을 확보하기 위해 고품질의 난수 생성기(Mersenne 소수 모듈러스)를 사용한다.

실험 결과

연구 질문

• RQ1 특성 해싱에서 입력 벡터의 ℓ∞/ℓ2 비율, 목표 차원 m, 오차 매개변수 ε, δ 사이의 정확한 점근적 무한대 비율은 무엇인가?
• RQ2 이론적 한계 m ≥ 2/(ε²δ)가 ‖Ax‖₂² ∈ [(1−ε)‖x‖₂², (1+ε)‖x‖₂²]를 확률 최소 1−δ로 유지하기 위해 필수적인가?
• RQ3 실제 환경, 특히 잘 분포된 특성을 가진 실세계 기계 학습 데이터에서 점근적 한계의 숨겨진 상수가 1에 얼마나 가까운가?
• RQ4 이론적 최소 표현식의 두 항이 모두 필요한가, 아니면 실생활에서 항상 한 항이 지배적인가?

주요 결과

• 논문은 m ≥ 2/(ε²δ)가 특성 해싱이 상대 오차 ε 이내로 ℓ2 노름을 유지할 확률이 최소 1−δ일 때 필수적이고 충분한 조건임을 규명한다.
• 실증 평가 결과, 대부분의 실용적 매개변수 범위에서 이론적 한계의 Θ-표기법에 숨겨진 상수가 최소 0.725이며, 희소 벡터로 인해 일부 이상치는 0.6에 가까운 것으로 나타났다.
• 이론적 한계는 날카롭다: m < 2/(ε²δ)일 경우, 일부 벡터에서 ‖Ax‖₂²가 ‖x‖₂²에서 ε‖x‖₂² 이상 벗어나는 경우가 존재함을 확인하여 이 임계값이 반드시 필요함을 입증한다.
• 이론적 최소 표현식의 두 항 모두 실증적으로 필요하며, 어떤 한 항만으로도 모든 매개변수 영역에서 ℓ∞/ℓ2 비율을 올바르게 제한할 수 없다.
• 실측 실패 확률 δ는 이론적 예측과 매우 밀접하게 일치하며, 다양한 ε 및 δ 범위에서 측정된 ν(m, ε, δ) 값이 이론적 한계와 밀접하게 일치한다.
• ℓ∞/ℓ2 비율 ≤ 1인 경우, 특성 해싱은 존슨-린든스트라우스 한계보다 훨씬 작은 m에서도 노름 유지 확률이 높아지며, 잘 분포된 환경에서 실질적 우수성을 보여준다.