[논문 리뷰] The Johnson-Lindenstrauss lemma almost characterizes Hilbert space, but not quite

William B. Johnson, Assaf Naor|arXiv (Cornell University)|2009. 01. 04.

Advanced Optimization Algorithms Research참고 문헌 40인용 수 6

한 줄 요약

이 논문은 존슨-린든스트라우스 보조정리가 힐버트 공간을 얼마나 잘 특성화하는지에 대해 조사한다. 만약 노름이 부여된 공간이 J-L 보조정리를 만족한다면, 모든 유한차원 부분공간이 log n에 대한 함수로 증가하는 왜곡을 가지며 힐버트 공간에 임베딩될 수 있음을 보여준다. 그러나 동시에 J-L 보조정리를 만족하지만 일부 부분공간의 왜곡이 최소 2Ω(α(n))에 이르는 반례 공간도 구축하여, 이 보조정리가 힐버트 공간을 완전히 특성화하지 못한다는 것을 증명한다. 여기서 α는 역 애커만 함수이다.

ABSTRACT

Let X be a normed space that satisfies the Johnson-Lindenstrauss lemma (J--L lemma, in short) in the sense that for any integer n and any x1,...,xn e X there exists a linear mapping L: X → F, where F ⊆ X is a linear subspace of dimension O(log n), such that||xi - xj|| ≤ ||L(xi) - L(xj)|| ≤ O(1) · ||xi - xj||for all i, j e {1,..., n). We show that this implies that X is almost Euclidean in the following sense: Every n-dimensional subspace of X embeds into Hilbert space with distortion [EQUATION]. On the other hand, we show that there exists a normed space Y which satisfies the J-L lemma, but for every n there exists an n-dimensional subspace En ⊆ Y whose Euclidean distortion is at least 2Ω(α(n)), where α is the inverse Ackermann function.

연구 동기 및 목표

• 모든 노름이 부여된 공간들 중에서 존슨-린든스트라우스 보조정리가 힐버트 공간을 특성화하는지 여부를 규명하는 것.
• J-L 보조정리를 만족하는 노름이 부여된 공간 내에서 유한차원 부분공간의 왜곡을 조사하는 것.
• J-L 보조정리를 만족하지만 일부 부분공간에서 힐버트 공간을 초월하는 왜곡을 보이는 반례 공간을 구축하는 것.
• 차원 감소 하에서 힐버트 공간과 유사하게 행동하는 공간과 그렇지 않은 공간 사이의 경계를 명확히 하는 것.

제안 방법

• 노름이 부여된 공간 X가 J-L 보조정리를 만족한다고 정의한다. 즉, 임의의 유한점 집합에 대해, 거리가 상수 인자 범위 내에서 유지되는 저차원 선형 부분공간 F ⊆ X 가 존재한다.
• X가 J-L 보조정리를 만족한다면, X의 모든 n차원 부분공간이 log n에 대한 함수로 유 bounds된 왜곡을 가지며 힐버트 공간에 임베딩될 수 있음을 증명한다.
• 특정한 노름이 부여된 공간 Y를 구성한다. 이 공간은 J-L 보조정리를 만족하지만, 각 n에 대해 n차원 부분공간 En가 존재하여 유클리드 왜곡이 최소 2Ω(α(n)) 이상이다.
• 역 애커만 함수 α(n)의 성질을 이용하여, 이 왜곡이 어떤 이터레이티드 로그 함수보다도 더 빠르게 증가함을 보이며, 힐버트 공간에서 달성 가능한 왜곡을 초월함을 증명한다.
• 함수해석학과 渐近 기하학 분석 기법을 적용하여 임베딩 왜곡과 부분공간의 구조를 분석한다.
• 유럽형 절단과 거의 유클리드 부분공간에 관한 기존 결과를 활용하여 왜곡의 상한과 하한을 유도한다.

실험 결과

연구 질문

• RQ1 존슨-린든스트라우스 보조정리는 모든 노름이 부여된 공간들 중에서 힐버트 공간을 완전히 특성화하는가?
• RQ2 J-L 보조정리를 만족하는 노름이 부여된 공간 내에서, 유한차원 부분공간의 최선의 왜곡은 무엇인가?
• RQ3 노름이 부여된 공간이 J-L 보조정리를 만족하면서도, 힐버트 공간보다 훨씬 열악한 왜곡을 보이는 부분공간을 가질 수 있는가?
• RQ4 역 애커만 함수 α(n)는 비힐버트 공간에서 차원 감소의 한계와 어떻게 관련되는가?
• RQ5 J-L 보조정리를 만족하는 공간과 실제 힐버트 공간 사이에 구조적 차이가 존재하는가?

주요 결과

• 노름이 부여된 공간 X가 존슨-린든스트라우스 보조정리를 만족한다면, X의 모든 n차원 부분공간은 log n에 대한 함수로 유 bounds된 왜곡을 가지며 힐버트 공간에 임베딩된다.
• J-L 보조정리를 만족하는 노름이 부여된 공간 Y가 존재하지만, 각 n에 대해 n차원 부분공간 En ⊆ Y 가 존재하여 유클리드 왜곡이 최소 2Ω(α(n)) 이상이다.
• 왜곡 한계 2Ω(α(n))는 어떤 이터레이티드 로그 함수보다도 더 빠르게 증가하므로, 이러한 부분공간은 실제 힐버트 공간 내의 부분공간보다 훨씬 힐버트 공간에서 벗어나 있음을 시사한다.
• 이러한 공간 Y의 존재는 J-L 보조정리가 힐버트 공간을 완전히 특성화하지 못함을 보이며, 초월 로그 왜곡을 가질 수 있음을 시사한다.
• J-L 정규 공간 내의 왜곡 상한은 로그 인자까지 정확하며, 하한은 힐버트 공간 행동과 엄격히 분리됨을 보여준다.
• 역 애커만 함수 α(n)는 왜곡 계층에서 날카로운 임계점으로 기능하며, 이는 渐近 기하학 분석에서의 중요성을 부각시킨다.