[論文レビュー] Comparison-Based Random Forests

Siavash Haghiri, Damien Garreau+1 more|arXiv (Cornell University)|Jun 18, 2018

Face and Expression Recognition参考文献 7被引用数 4

ひとこと要約

本稿では、明示的なベクトル表現や距離値を必要とせず、1つのアイテムが2番目または3番目のアイテムよりも近いかどうかを示す三重比較のみを用いて分類および回帰を実行する、新たなランダムフォレストアルゴリズム「比較ベースランダムフォレスト（CompRF）」を提案する。この手法は、ユークリッド空間、距離空間、および完全に比較ベースの設定においても競争力ある性能を示し、埋め込みベースのベースラインと比較して効率性と正確性に優れる。また、やや厳しい条件のもとで統計的整合性を示す。

ABSTRACT

Assume we are given a set of items from a general metric space, but we neither have access to the representation of the data nor to the distances between data points. Instead, suppose that we can actively choose a triplet of items (A,B,C) and ask an oracle whether item A is closer to item B or to item C. In this paper, we propose a novel random forest algorithm for regression and classification that relies only on such triplet comparisons. In the theory part of this paper, we establish sufficient conditions for the consistency of such a forest. In a set of comprehensive experiments, we then demonstrate that the proposed random forest is efficient both for classification and regression. In particular, it is even competitive with other methods that have direct access to the metric representation of the data.

研究の動機と目的

• 明示的なデータ表現や距離メトリクスに依存せずに、三重比較のみに依存するランダムフォレストアルゴリズムの開発。
• 順序埋め込み手法の限界（処理が遅く、データ表現に歪みを生じる）を是正すること。
• 簡略化されたモデルにおける比較ベースランダムフォレストの理論的整合性の確立。
• ユークリッド空間、距離空間、および完全に比較ベースの設定において、分類および回帰タスクにおけるCompRFの実証的有効性の提示。

提案手法

• 各ノードのデータサブセット内からラベルが反対のランダムなピボット点を選び、比較ツリーを構築する。
• 各ノードで、点が一方のピボット点に近いか、もう一方に近いかを、三重比較クエリのみを用いて分割する。
• M個のこのようなツリーをアンサンブル化し、回帰では全ツリーの予測値の平均を、分類では多数決による予測を行う。
• ツリー構築はベクトル空間の仮定を避けるために、オракルクエリによる相対的距離比較にのみ依存する。
• アルゴリズムはやや厳しい条件下で一貫性を示すように設計されており、理論的分析はツリー構築プロセスの簡略化されたバージョンに焦点を当てる。
• 実際の応用では、$ n_0 = 1 $ および $ M = 200 $ を使用し、既知の距離を持つデータセットおよび完全に比較ベースの環境で評価される。

実験結果

リサーチクエスチョン

• RQ1 明示的なベクトル表現や距離値が得られない状況でも、三重比較クエリのみに依存してランダムフォレストを一貫性を持って学習可能か？
• RQ2 距離情報のみが利用可能な状況で、比較ベースのランダムフォレストは、CARTフォレストのような従来手法と比較してどのように性能を発揮するか？
• RQ3 順序埋め込みを経由する間接的手法と比較して、提案手法は性能で優位に立てるか？
• RQ4 比較ベースの設定において、積極的に選択された三重比較とランダムに選択された三重比較の影響は何か？
• RQ5 大規模な、完全に比較ベースの環境においても、この手法は高い正確性と低い計算コストを維持できるか？

主な発見

• 距離情報が利用可能な設定において、CompRFはカーネルSVMよりもMUTAGおよびENZYMESデータセットで優れた性能を示し、カーネル構築を一切必要としない。
• 比較ベースの設定では、TSTEに基づく埋め込み手法と比較して、特に同じ三重比較クエリを用いた場合に分類誤差が低いか同等となる。
• 同じ三重比較セットを用いた場合、CompRFは埋め込みベース手法を一貫して上回り、優れたロバストネスと効率性を示す。
• TSTEのような順序埋め込み技術に比べ、この手法は著しく高速であり、大規模データセットでは計算が非現実的になる。
• すべてのテスト設定（ユークリッド空間、距離空間、比較ベース）において、CompRFは強力な性能を維持しており、広範な適用可能性を示す。
• 理論的分析により、アルゴリズムの簡略化されたバージョンの整合性が確立され、将来的なより現実的なツリー構築プロセスへの拡張の基盤が提供される。