[논문 리뷰] Sketching, Embedding, and Dimensionality Reduction for Information Spaces

Amirali Abdullah, Ravi Kumar외 3명|arXiv (Cornell University)|2015. 03. 17.

Face and Expression Recognition참고 문헌 30인용 수 7

한 줄 요약

이 논문은 고차원 확률 공간에서 제논-샤논, 헬링거, χ² 발산과 같은 정보 발산에 대해 효율적인 스케치, 임bedding, 차원 축소 기법을 제안한다. 이 발산들은 집합 스트림 모델 하에서 부분선형 공간에서 스케치될 수 있으며, 승수 왜곡을 동반한 저차원 유클리드 공간으로 임베딩될 수 있고, 확률 분포의 단형 기하학적 구조를 유지하면서 차원이 축소된다—이를 통해 정보이론적 거리의 확장 가능한, 증명 가능한 정확도를 갖는 분석이 가능해진다.

ABSTRACT

Information distances like the Hellinger distance and the Jensen-Shannon divergence have deep roots in information theory and machine learning. They are used extensively in data analysis especially when the objects being compared are high dimensional empirical probability distributions built from data. However, we lack common tools needed to actually use information distances in applications efficiently and at scale with any kind of provable guarantees. We can't sketch these distances easily, or embed them in better behaved spaces, or even reduce the dimensionality of the space while maintaining the probability structure of the data. In this paper, we build these tools for information distances---both for the Hellinger distance and Jensen--Shannon divergence, as well as related measures, like the $χ^2$ divergence. We first show that they can be sketched efficiently (i.e. up to multiplicative error in sublinear space) in the aggregate streaming model. This result is exponentially stronger than known upper bounds for sketching these distances in the strict turnstile streaming model. Second, we show a finite dimensionality embedding result for the Jensen-Shannon and $χ^2$ divergences that preserves pair wise distances. Finally we prove a dimensionality reduction result for the Hellinger, Jensen--Shannon, and $χ^2$ divergences that preserves the information geometry of the distributions (specifically, by retaining the simplex structure of the space). While our second result above already implies that these divergences can be explicitly embedded in Euclidean space, retaining the simplex structure is important because it allows us to continue doing inference in the reduced space. In essence, we preserve not just the distance structure but the underlying geometry of the space.

연구 동기 및 목표

• 고차원 데이터 분석에서 제논-샤논 및 χ² 발산과 같은 정보 발산에 대해 확장 가능하고 증명 가능한 정확도를 갖는 알고리즘 도구의 부족을 해결하기 위해.
• 엄격한 턴스타일 모델에서 이러한 발산을 스케치하는 데 있어 알려진 불가능성 결과를 극복하기 위해 집합 스트림 모델에서의 가능성을 보여주기 위해.
• 쌍별 거리와 확률 분포의 기저 단형 기하학을 모두 유지하는 저차원 임베딩을 가능하게 하기 위해.
• 분포의 정보 기하학적 구조를 유지하면서도, 축소된 공간에서의 계속 가능한 추론을 허용하는 차원 축소를 제공하기 위해.
• ℓ₁ 및 ℓ₂ 노름에 대한 기존 도구를 정보 이론적 발산으로 확장하여 머신러닝 및 데이터 분석 분야에서의 적용 범위를 넓히기 위해.

제안 방법

• JS 또는 χ² 발산 하에서 점들을 ℓ² 공간으로의 결정적 임베딩을 제안하며, O(d²/ε log(d/ε)) 차원과 ε의 덧셈 오차를 갖는다.
• AMS 스케치와 조한슨-린든스트라우스 레마를 결합하여 집합 스트림 모델에서 (1+ε)-승수 근사치를 달성하며, O(1/ε² log(1/ε) log d) 차원을 사용한다.
• 두 단계 임베딩을 사용한다: 먼저 ∑xᵢ = 0 조건을 만족하는 초평면 L ⊂ ℝᵏ⁺¹로, 그 다음 스케일링과 이동을 통해 확률 단형 Δₖ₊₁에 맞춘다.
• 잘 정의된 f-발산은 단형 중심 주변에서 거의 유클리드적임을 테일러 전개를 통해 보여주며, 작은 r에 대해 D_f(p,q) ≈ t·‖p−q‖₂² 임을 보인다.
• 모든 ε > 0에 대해, 반경 r과 스케일링 인자 t가 존재하여, 단형 중심 주변의 반경 r 내에서 (1−ε)‖p−q‖₂² ≤ t·D_f(p,q) ≤ (1+ε)‖p−q‖₂² 임을 증명한다.
• ℓ²로의 임베딩, JL-레마, 단형 투영을 조합하여 잘 정의된 f-발산에 대해 (1+ε) 왜곡을 달성하며, O(log n / ε²) 차원에서 수행된다.

실험 결과

연구 질문

• RQ1 엄격한 턴스타일 모델에서의 불가능성 결과에도 불구하고, 집합 스트림 모델에서 제논-샤논 및 χ² 발산을 효율적으로 스케치할 수 있는가?
• RQ2 이러한 발산들이 쌍별 거리를 유지하면서 저차원 유클리드 공간으로 임베딩될 수 있는가?
• RQ3 확률 단형의 기하학적 구조를 잃지 않고 이러한 발산에 대해 차원 축소를 달성할 수 있는가?
• RQ4 단형 내에서 f-발산이 제곱 유클리드 거리처럼 행동하는 국소 영역이 존재하는가, 이를 통해 저왜곡 임베딩이 가능할까?
• RQ5 JS 및 χ²와 같이 무한차원 커널을 갖는 발산에 대해서도 이러한 임베딩이 명시적으로 계산 가능한가?

주요 결과

• 논문은 집합 스트림 모델 하에서 JS 및 χ² 발산이 부분선형 공간에서 스케치될 수 있음을 입증하며, O(1/ε² log(1/ε) log d) 차원에서 (1+ε)-승수 근사치를 달성한다.
• JS 및 χ² 발산이 O(d²/ε log(d/ε)) 차원과 ε의 덧셈 오차를 갖는 ℓ² 공간으로 유한차원 임베딩이 달성된다.
• 잘 정의된 f-발산에 대해, O(log n / ε²) 차원에서 (1+ε) 왜곡을 달성하는 차원 축소 결과가 도출되며, 확률 분포의 단형 기하학적 구조를 유지한다.
• 단형 중심 주변에서는 임의의 잘 정의된 f-발산이 거의 제곱 유클리드 거리와 동일하며, 충분히 작은 r에 대해 왜곡이 (1±ε) 이내로 제한된다.
• 커널이 승수 오차 내에서 유한차원으로 근사될 수 있다면, JS 및 χ²와 같이 무한차원 커널을 갖는 발산에 대해서도 임베딩이 명시적으로 계산 가능하다.
• 전체 파이프라인—임베딩, JL-레마, 단형 투영—의 총 왜곡은 (1+ε) 이내로 제한되며, (1+ε/4)³ ≤ 1+ε 를 통해 오차의 조합을 통해 달성된다.