[論文レビュー] Generalized comparison trees for point-location problems

Daniel M. Kane, Shachar Lovett+1 more|arXiv (Cornell University)|Apr 23, 2018

Machine Learning and Algorithms参考文献 9被引用数 4

ひとこと要約

この論文は、与えられた族 H からの超平面の重み付き差分によって構成される線形クエリである一般化比較クエリを導入し、d次元空間における点配置問題を解く。一般化比較意思決定木が深さ O(d⁴ log d log |H|) で H の配置を計算できることを証明し、標準的比較クエリの制限を克服し、任意の超平面配置に対する効率的な点配置を可能にする。

ABSTRACT

Let $H$ be an arbitrary family of hyper-planes in $d$-dimensions. We show that the point-location problem for $H$ can be solved by a linear decision tree that only uses a special type of queries called \emph{generalized comparison queries}. These queries correspond to hyperplanes that can be written as a linear combination of two hyperplanes from $H$; in particular, if all hyperplanes in $H$ are $k$-sparse then generalized comparisons are $2k$-sparse. The depth of the obtained linear decision tree is polynomial in $d$ and logarithmic in $|H|$, which is comparable to previous results in the literature that use general linear queries. This extends the study of comparison trees from a previous work by the authors [Kane {et al.}, FOCS 2017]. The main benefit is that using generalized comparison queries allows to overcome limitations that apply for the more restricted type of comparison queries. Our analysis combines a seminal result of Forster regarding sets in isotropic position [Forster, JCSS 2002], the margin-based inference dimension analysis for comparison queries from [Kane {et al.}, FOCS 2017], and compactness arguments.

研究の動機と目的

• 任意の超平面配置に対して点配置問題を解く際の標準的比較クエリの制限を克服すること。
• 超平面差分の再重み付けを許可する一般化比較クエリを導入することで、比較ベースの意思決定木の適用範囲を拡張すること。
• 深さが d に対して多項式的で |H| に対して対数的となる意思決定木を達成し、一般線形クエリの既知の境界と一致させること。
• スパarsity 性質を維持すること：元の超平面が k-スパースであれば、一般化比較は 2k-スパースである。
• 単純で構造的なクエリを用いて、アクティブラーニングおよび効率的な線形意思決定木の一般枠組みを提供すること。

提案手法

• H に属する h′, h′′ および α, β ∈ ℝ で |α| + |β| = 1 を満たすものに対して、sign(⟨x, αh′ − βh′′⟩) の形の一般化比較クエリを導入する。
• 等方的配置にある集合に関する Forster の結果を用いて、クエリ複雑度に対するマージンに基づく下界を確立する。
• 先行研究（Kane et al., FOCS 2017）におけるマージンに基づく推論次元解析を一般化クエリに適用する。
• コンパクト性の議論と極限構成を用いて、有限近似から無限の場合の意思決定木を導出する。
• 各葉のセルがすべての有限近似木の対応するセルにほとんどすべての点で含まれるような、有限木 T_{n_k} の列から極限木 T∞ を構成する。
• ゼロの符号を求めるクエリを摂動によって解消することで、ほぼ至るところ正しい木を至るところ正しい木に拡張する補正手順を用いる。

実験結果

リサーチクエスチョン

• RQ1 比較ベースの意思決定木を、「よい性質」を要件としない任意の超平面配置を扱えるように一般化できるか？
• RQ2 どのような一般化クエリが、一般線形意思決定木と同等の深さで効率的な点配置を可能にするか？
• RQ3 超平面のスパarsity がクエリに保たれるか？ また、これによりより効率的または構造的な学習が可能になるか？
• RQ4 任意の入力点の符号ベクトルを完全に計算する意思決定木を、一般化比較クエリのみを用いて構築可能か？
• RQ5 コンパクト性および極限の議論をどのように用いて、有限木の結果を任意の超平面族の一般ケースに拡張できるか？

主な発見

• 任意の ℝ^d における n 個の超平面からなる族 H に対して、深さ O(d⁴ log d log |H|) の一般化比較意思決定木が存在する。
• 深さの上限は d に対して多項式的で |H| に対して対数的であり、一般線形意思決定木の既知の境界と一致する。
• 一般化比較クエリは、ラベルクエリ（α=1, β=0）および標準的比較クエリ（α=β=1/2）を特別な場合として含む。
• H のすべての超平面が k-スパースであれば、すべての一般化比較クエリは 2k-スパースであり、構造的単純性が保たれる。
• 極限木の構成により、すべての点がほとんど至るところ正しく分類され、摂動に基づく補正により完全な正しさが保証される。
• 再重み付けを許可することで、従来の比較木の下界を克服し、指数関数的にスケーリングされた超平面に起因する問題を解消できる。