[論文レビュー] The Anchors Hierachy: Using the triangle inequality to survive high dimensional data

Andrew W. Moore|arXiv (Cornell University)|Jan 16, 2013

Data Management and Algorithms参考文献 7被引用数 6

ひとこと要約

この論文は、三角不等式を用いて、高次元空間や非ユークリッド空間における効率的な近似最近傍検索および統計的学習を可能にする、新しいメトリックツリー・データ構造「 Anchors Hierarchy 」を提案する。『中間から外側へ』のアンカーの階層を構築することで、バランスの取れたパーティショニングを実現し、k-means やカーネル回帰、ベイズネットワーク学習などのアルゴリズムを高速化するためのキャッシュされた十分統計量（例：モーメント、クロス集計表）を可能にする。これは数千次元の空間でも有効である。

ABSTRACT

This paper is about metric data structures in high-dimensional or non-Euclidean space that permit cached sufficient statistics accelerations of learning algorithms. It has recently been shown that for less than about 10 dimensions, decorating kd-trees with additional "cached sufficient statistics" such as first and second moments and contingency tables can provide satisfying acceleration for a very wide range of statistical learning tasks such as kernel regression, locally weighted regression, k-means clustering, mixture modeling and Bayes Net learning. In this paper, we begin by defining the anchors hierarchy - a fast data structure and algorithm for localizing data based only on a triangle-inequality-obeying distance metric. We show how this, in its own right, gives a fast and effective clustering of data. But more importantly we show how it can produce a well-balanced structure similar to a Ball-Tree (Omohundro, 1991) or a kind of metric tree (Uhlmann, 1991; Ciaccia, Patella, & Zezula, 1997) in a way that is neither "top-down" nor "bottom-up" but instead "middle-out". We then show how this structure, decorated with cached sufficient statistics, allows a wide variety of statistical learning algorithms to be accelerated even in thousands of dimensions.

研究の動機と目的

• 従来のツリー構造が劣化する高次元または非ユークリッド空間における統計的学習アルゴリズムの拡張の課題に対処する。
• トップダウンまたはボトムアップのメトリックツリー構築法の限界を克服し、新規な「中間から外側へ」のアプローチを導入する。
• 階層的データ構造を用いて、高次元空間における局所統計量（例：モーメント、クロス集計表）の効率的計算を可能にする。
• キャッシュされた十分統計量を活用して、k-means やカーネル回帰、ベイズネットワーク学習などの多様な学習タスクの高速化を実現する。
• 三角不等式とアンカーに基づくパーティショニングを用いて構築されたメトリックツリーが、数千次元の空間でも効果的かつバランスの取れた性能を維持できることを示す。

提案手法

• データセットから選択されたアンカー点を用いて、データの階層的パーティショニングを構築するデータ構造「Anchors Hierarchy」を提案する。
• 三角不等式を用いて、データポイントとアンカー間の距離を束縛し、正確な距離計算を必要とせずに検索中に効率的なプルーニングを可能にする。
• 『中間から外側へ』の方法で階層を構築する：まずコアとなるアンカー集合を生成し、その後再帰的に各ポイントを最も近いアンカーに割り当てる。
• 階層内の各ノードに、キャッシュされた十分統計量（例：一次および二次モーメント、クロス集計表）を装備し、統計的推論を高速化する。
• キャッシュされた統計量を活用して、全データポイントを再スキャンすることなく、局所的な学習（例：局所加重回帰、k-meansの更新）を高速化する。
• 三角不等式を用いて、検索および更新操作中に調べる必要があるポイント数を制限することで、構造のバランスの取れることを保証する。

実験結果

リサーチクエスチョン

• RQ1 トップダウンでもボトムアップでもないが、『中間から外側へ』の構築法を用いることで、バランスと検索効率の両方を向上させられるか？
• RQ2 キャッシュされた十分統計量を高次元メトリック空間で効果的に維持・再利用でき、統計的学習アルゴリズムの高速化に寄与できるか？
• RQ3 三角不等式をどれだけ活用することで、高次元空間や非ユークリッド空間における最近傍検索の計算コストを削減できるか？
• RQ4 Anchors Hierarchy は、数千次元の空間においても k-means やカーネル回帰、ベイズネットワーク学習などの学習タスクにおいて、性能とスケーラビリティを維持できるか？
• RQ5 伝統的なメトリックツリー（例：Ball-Trees やメトリックツリー）と比較して、Anchors Hierarchy は高次元設定下でクエリ速度と統計的精度の両面で優れているか？

主な発見

• 『中間から外側へ』の構築戦略により、Anchors Hierarchy はバランスの取れたデータパーティショニングを達成し、トップダウンやボトムアップ手法に見られる不均衡の問題を回避する。
• 三角不等式による距離の束縛を用いることで、最近傍検索中に効率的なプルーニングが可能となり、必要な距離計算の回数が顕著に削減される。
• 各ノードにキャッシュされた十分統計量（例：モーメント、クロス集計表）を保持することで、カーネル回帰やk-meansクラスタリングなどのアルゴリズムの高速化が実現する。
• この手法は、k-means や局所加重回帰、混合モデル、ベイズネットワーク学習といった多様な統計的学習タスクを高次元空間でサポートする。
• 数千次元の空間でも構造が有効に機能し、三角不等式とアンカーに基づくパーティショニングを組み合わせることで、メトリックベースの学習が次元の呪いに耐えることが示された。
• UAI 2000 論文集の実験結果から、Anchors Hierarchy は、特に高次元設定下で精度を損なわず、学習アルゴリズムの実行速度に顕著な高速化をもたらすことが実証された。