[논문 리뷰] Generalized comparison trees for point-location problems

Daniel M. Kane, Shachar Lovett외 1명|arXiv (Cornell University)|2018. 04. 23.

Machine Learning and Algorithms참고 문헌 9인용 수 4

한 줄 요약

이 논문은 주어진 가족 H의 초평면들 간의 가중치가 부여된 차이를 이용해 구성된 일반화된 비교 질의—d차원 공간 내에서 점 위치 문제를 해결하기 위한 선형 질의—를 제안한다. 일반적인 비교 질의의 한계를 극복하고 임의의 초평면 배열에 대해 효율적인 점 위치를 가능하게 하기 위해, 깊이 O(d⁴ log d log |H|)인 일반화된 비교 결정 트리가 존재함을 증명한다.

ABSTRACT

Let $H$ be an arbitrary family of hyper-planes in $d$-dimensions. We show that the point-location problem for $H$ can be solved by a linear decision tree that only uses a special type of queries called \emph{generalized comparison queries}. These queries correspond to hyperplanes that can be written as a linear combination of two hyperplanes from $H$; in particular, if all hyperplanes in $H$ are $k$-sparse then generalized comparisons are $2k$-sparse. The depth of the obtained linear decision tree is polynomial in $d$ and logarithmic in $|H|$, which is comparable to previous results in the literature that use general linear queries. This extends the study of comparison trees from a previous work by the authors [Kane {et al.}, FOCS 2017]. The main benefit is that using generalized comparison queries allows to overcome limitations that apply for the more restricted type of comparison queries. Our analysis combines a seminal result of Forster regarding sets in isotropic position [Forster, JCSS 2002], the margin-based inference dimension analysis for comparison queries from [Kane {et al.}, FOCS 2017], and compactness arguments.

연구 동기 및 목표

• 임의의 초평면 배열에 대해 표준 비교 질의의 한계를 해결함으로써 점 위치 문제를 해결하고자 한다.
• 초평면 차이의 재가중치를 允허하는 일반화된 비교 질의를 도입함으로써 비교 기반 결정 트리의 적용 가능성을 확장하고자 한다.
• 깊이가 d에 대해 다항식이고 |H|에 대해 로그형이 되는 결정 트리를 달성하고자 하며, 일반 선형 질의에 대해 알려진 기존의 경계와 일치시킨다.
• 희소성 성질을 유지한다: 원래의 초평면들이 k-희소이면, 일반화된 비교는 2k-희소가 된다.
• 간단하고 구조화된 질의를 사용하여 활성 학습과 효율적인 선형 결정 트리의 일반적 프레임워크를 제공하고자 한다.

제안 방법

• H에 속하는 h′, h′′에 대해 sign(⟨x, αh′ − βh′′⟩) 형태의 일반화된 비교 질의를 도입한다. 여기서 α, β ∈ ℝ이며 |α| + |β| = 1이다.
• 등방향 위치에 있는 집합에 대한 Forster의 결과를 활용하여 질의 복잡도에 대한 마진 기반 하한을 확립한다.
• 이전 연구(예: Kane 등, FOCS 2017)에서 제안한 마진 기반 추론 차원 분석을 일반화된 질의에 적용한다.
• 유한 근사치로부터 무한한 경우를 위한 결정 트리를 유도하기 위해 콤팩트성 추론과 극한 구성 기법을 사용한다.
• 각 잎의 셀이 유한 트리 T_{n_k}의 대응 셀들 중 유한 개를 제외한 나머지 모든 셀에 포함되도록, 유한 트리의 수열 T_{n_k}에서 극한 트리 T∞를 구성한다.
• 영-부호 질의를 편향을 통해 해결함으로써 거의 전역적으로 올바른 트리를 전역적으로 올바른 트리로 확장하는 보정 절차를 사용한다.

실험 결과

연구 질문

• RQ1 표준 비교 기반 결정 트리는 어떤 '좋은 조건'이 없이도 임의의 초평면 배열을 다룰 수 있도록 일반화될 수 있는가?
• RQ2 어떤 유형의 일반화된 질의가 일반 선형 결정 트리와 유사한 깊이로 효율적인 점 위치를 가능하게 하는가?
• RQ3 초평면의 희소성은 질의에서 유지될 수 있으며, 이는 더 효율적이거나 구조적인 학습을 가능하게 하는가?
• RQ4 임의의 입력 점에 대해 전체 부호 벡터를 계산하는 데에 오직 일반화된 비교 질의만을 사용하는 결정 트리를 구성할 수 있는가?
• RQ5 콤팩트성과 극한 추론 기법을 어떻게 활용하여 유한 트리 결과를 임의의 초평면 가족에 대한 일반적인 경우로 확장할 수 있는가?

주요 결과

• 임의의 ℝ^d 내 n개의 초평면으로 이루어진 가족 H에 대해 깊이 O(d⁴ log d log |H|)인 일반화된 비교 결정 트리가 존재한다.
• 깊이 경계는 d에 대해 다항식이고 |H|에 대해 로그형이며, 일반 선형 결정 트리에 대해 알려진 기존 경계와 일치한다.
• 일반화된 비교 질의는 α=1, β=0일 때 레이블 질의, α=β=1/2일 때 표준 비교 질의를 특수한 경우로 포함한다.
• H에 속한 모든 초평면이 k-희소이면, 모든 일반화된 비교 질의는 2k-희소가 되며, 이는 구조적 단순성을 유지한다.
• 극한 트리 구성은 거의 전역적으로 모든 점이 정확히 분류됨을 보장하며, 편향 기반 보정을 통해 전체적으로 정확성이 확보된다.
• 재가중치를 允허함으로써 이전의 비교 트리에 대한 하한을 극복하며, 지수적으로 스케일링된 초평면에서 발생하는 문제를 해결한다.