[论文解读] Generalized comparison trees for point-location problems

Daniel M. Kane, Shachar Lovett+1 more|arXiv (Cornell University)|Apr 23, 2018

Machine Learning and Algorithms参考文献 9被引用 4

一句话总结

本文引入广义比较查询——由给定族 H 中超平面的加权差值构成的线性查询——以解决 d 维空间中的点定位问题。证明了深度为 O(d⁴ log d log |H|) 的广义比较判定树可计算 H 的排列，克服了标准比较查询的局限性，并实现了对任意超平面排列的高效点定位。

ABSTRACT

Let $H$ be an arbitrary family of hyper-planes in $d$-dimensions. We show that the point-location problem for $H$ can be solved by a linear decision tree that only uses a special type of queries called \emph{generalized comparison queries}. These queries correspond to hyperplanes that can be written as a linear combination of two hyperplanes from $H$; in particular, if all hyperplanes in $H$ are $k$-sparse then generalized comparisons are $2k$-sparse. The depth of the obtained linear decision tree is polynomial in $d$ and logarithmic in $|H|$, which is comparable to previous results in the literature that use general linear queries. This extends the study of comparison trees from a previous work by the authors [Kane {et al.}, FOCS 2017]. The main benefit is that using generalized comparison queries allows to overcome limitations that apply for the more restricted type of comparison queries. Our analysis combines a seminal result of Forster regarding sets in isotropic position [Forster, JCSS 2002], the margin-based inference dimension analysis for comparison queries from [Kane {et al.}, FOCS 2017], and compactness arguments.

研究动机与目标

• 解决标准比较查询在处理任意超平面排列的点定位问题时的局限性。
• 通过引入可重新加权超平面差值的广义比较查询，扩展基于比较的判定树的适用范围。
• 实现深度为 d 的多项式函数和 |H| 的对数函数的判定树深度，与一般线性查询的已知界相匹配。
• 保持稀疏性特性：若原始超平面为 k-稀疏，则广义比较查询为 2k-稀疏。
• 提供一种通用框架，用于主动学习和使用简单、结构化查询的高效线性判定树。

提出的方法

• 引入形式为 sign(⟨x, αh′ − βh′′⟩) 的广义比较查询，其中 h′, h′′ ∈ H，且 α, β ∈ ℝ 满足 |α| + |β| = 1。
• 利用 Forster 关于处于等分布位置的集合的结果，建立基于间隔的查询复杂度下界。
• 将先前工作（Kane 等人，FOCS 2017）中的基于间隔的推理维度假设应用于广义查询。
• 使用紧致性论证和极限构造，从有限近似中推导出无限情况下的判定树。
• 从一列有限树 T_{n_k} 构造极限树 T∞，使得每个叶节点的单元被包含在几乎所有对应近似树的单元中。
• 通过扰动方法修正几乎处处正确的树，以实现完全正确的分类。

实验结果

研究问题

• RQ1 是否可以将基于比较的判定树推广，以在不需‘良好’条件的情况下处理任意超平面排列？
• RQ2 哪些类型的广义查询可实现与一般线性判定树相当的深度，从而实现高效的点定位？
• RQ3 是否可以在查询中保持超平面的稀疏性，这是否能促进更高效或更结构化的学习？
• RQ4 是否可能仅使用广义比较查询构造一个判定树，以对任意输入点计算完整的符号向量？
• RQ5 如何利用紧致性和极限论证，将有限树的结果推广到任意超平面族的一般情况？

主要发现

• 对于 ℝ^d 中任意 n 个超平面的族 H，存在深度为 O(d⁴ log d log |H|) 的广义比较判定树。
• 深度界在 d 上为多项式函数，在 |H| 上为对数函数，与一般线性判定树的已知界一致。
• 广义比较查询包含了标签查询（α=1, β=0）和标准比较查询（α=β=1/2）作为特例。
• 若 H 中所有超平面均为 k-稀疏，则所有广义比较查询均为 2k-稀疏，保持了结构简洁性。
• 极限树构造确保了几乎所有点都能被正确分类，而基于扰动的修正方法确保了完全正确性。
• 该方法通过允许重新加权，克服了先前对比较树的下界限制，解决了因指数级缩放超平面而引发的问题。