[論文レビュー] Distance approximation using Isolation Forests

David Cortés‐Polo|arXiv (Cornell University)|Oct 27, 2019

Anomaly Detection Techniques and Applications参考文献 5被引用数 7

ひとこと要約

本稿では、ランダムな木構造におけるデータポイント間の平均分離深さを測定することで類似性を推定する、隔離フォレストに基づく新規な距離尺度を提案する。この尺度はスケール不変性を持ち、非線形の関係や変数の相関、欠損値に対して頑健である。従来のユークリッド距離やマハラノビス距離と比較して、複雑なデータ構造をよりよく捉えることができ、混合型データにおいてもゴーワー距離と高い相関を示す。

ABSTRACT

This work briefly explores the possibility of approximating spatial distance (alternatively, similarity) between data points using the Isolation Forest method envisioned for outlier detection. The logic is similar to that of isolation: the more similar or closer two points are, the more random splits it will take to separate them. The separation depth between two points can be standardized in the same way as the isolation depth, transforming it into a distance metric that is limited in range, centered, and in compliance with the axioms of distance. This metric presents some desirable properties such as being invariant to the scales of variables or being able to account for non-linear relationships between variables, which other metrics such as Euclidean or Mahalanobis distance do not. Extensions to the Isolation Forest method are also proposed for handling categorical variables and missing values, resulting in a more generalizable and robust metric.

研究の動機と目的

• 高次元の特徴空間における変数間の複雑で非線形な関係を捉える距離尺度を開発すること。
• 変数のスケーリングに依存しない類似性測度を構築し、非正規分布や欠損データに対しても頑健であること。
• 隔離フォレストを外れ値検出の目的から離れ、データポイント間の対比較距離を推定する応用に拡張すること。
• 数値変数、カテゴリカル変数、欠損値を統合的に扱える距離フレームワークを構築すること。
• 距離公理を満たし、しきい値に基づく類似性判断が可能な標準化・有界な距離尺度を生成すること。

提案手法

• 複数の木構造において、特徴量をランダムに二分木分割することで、2点間の平均分離深さを計算する。
• 一様なランダム分割下での期待値を用いて分離深さを標準化し、有界かつ中心化された距離尺度を構築する。
• 外れ値検出に用いられる「隔離深さ」と同じ論理を用いるが、隔離ではなく2点間の分離を対象とするように適応する。
• カテゴリカル変数を扱うために、離散的分割として扱い、混合データに適したゴーワー距離に類似した論理を適用する。
• 欠損値を分割時に別カテゴリとして扱い、補完処理を伴わずに距離推定を維持する。
• 計算コストを低減し安定性を向上させるために、限界的な深さの木構造を用い、非ランダムな分割（例：分散最小化に基づく）を導入する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな隔離フォレスト木における分離深さが、データポイント間の意味的で標準化された距離尺度として有効であるか。
• RQ2 本手法で提案された距離尺度は、複雑なデータ分布下でユークリッド距離、マハラノビス距離、コサイン類似度といった従来の尺度と比較して、真の類似性をどれほどよく捉えられるか。
• RQ3 欠損値やカテゴリカル変数を扱うにあたり、真の距離との相関をどれほど維持できるか。
• RQ4 カテゴリカル変数および欠損値の処理を拡張したモデルは、実世界の混合型データセットにおいても距離尺度の頑健性と正確性を保持できるか。
• RQ5 多次元的でi.i.d.でないデータ（例：相関のある成分を持つガウス混合）において、本手法は群内距離と群間距離を一貫して区別できるか。

主な発見

• 独立変数を有する多変量ガウス分布において、提案された隔離ベースの距離尺度は理想距離と相関係数0.96を達成した。
• 相関のある成分を有する非i.i.d.ガウス混合分布において、拡張モデル（IsoExt）は理想の群内距離と相関係数0.97を達成し、ユークリッド距離（0.95）やマハラノビス距離（0.89）を上回った。
• 15％の欠損値が存在する状況でも、拡張モデルは元の距離尺度と相関係数0.87を維持し、補完済みユークリッド距離（0.78）やマハラノビス距離（0.72）を著しく上回った。
• 混合型変数（数値、ブール値、カテゴリカル）を有する甲状腺機能低下症データセットにおいて、本手法はゴーワー距離と相関係数0.731を示し、広く用いられるベンチマークと強い整合性を示した。
• 鏡像ガウス混合分布において、本手法は対称的な群内距離を正しく維持したが、混合分散構造のためマハラノビス距離は失敗した。
• 欠損値が存在する状況において、本手法は顕著な優位性を示し、他の距離尺度が著しく劣化する中でも高い相関を維持した。