[論文レビュー] Random Forests for Metric Learning with Implicit Pairwise Position Dependence

Caiming Xiong, David Johnson+2 more|arXiv (Cornell University)|Jan 3, 2012

Face and Expression Recognition参考文献 18被引用数 22

ひとこと要約

この論文では、ランダムフォレストを用いてデータポイント同士の相対的位置と絶対的位置を符号化することで、特徴空間全体にわたり距離関数を暗黙的に適応させるメトリック学習手法であるランダムフォレスト距離（RFD）を提案する。RFDは、複数のベンチマークで最先端の精度を達成するとともに、既存のマルチメトリック手法と比較して最大16倍高速であり、精度と効率の両面でグローバル手法および位置特化型手法を上回る。

ABSTRACT

Metric learning makes it plausible to learn distances for complex distributions of data from labeled data. However, to date, most metric learning methods are based on a single Mahalanobis metric, which cannot handle heterogeneous data well. Those that learn multiple metrics throughout the space have demonstrated superior accuracy, but at the cost of computational efficiency. Here, we take a new angle to the metric learning problem and learn a single metric that is able to implicitly adapt its distance function throughout the feature space. This metric adaptation is accomplished by using a random forest-based classifier to underpin the distance function and incorporate both absolute pairwise position and standard relative position into the representation. We have implemented and tested our method against state of the art global and multi-metric methods on a variety of data sets. Overall, the proposed method outperforms both types of methods in terms of accuracy (consistently ranked first) and is an order of magnitude faster than state of the art multi-metric methods (16x faster in the worst case).

研究の動機と目的

• 複雑で非線形なデータ構造を捉えることができないグローバルなマハラノビス距離の限界を解消すること。
• 個々のインスタンスや領域ごとに別々のメトリックを学習するため、計算に非効率なマルチメトリック手法の課題を克服すること。
• 明示的な個別インスタンスごとのメトリック行列を保持しない、1つの効率的なメトリック学習手法を構築すること。
• 相対的位置と絶対的位置の両方を距離関数に統合し、一般化性能を向上させること。
• マルチメトリック手法に匹敵する高い精度を達成するとともに、グローバル手法の効率性を維持すること。

提案手法

• RFDは、ランダムフォレスト分類器を基盤とする表現として距離関数をモデル化し、各木が特徴空間を分割することで局所構造を符号化する。
• 距離計算に、点対間の相対的位置（差分）と、特徴空間内での点対の絶対的位置の両方を組み込む。
• 距離は、点対がフォレスト内の木を通じて類似したパスをたどるかどうかに基づいて計算される。類似したパスをたどる点対は、近いとみなされる。
• ペアワイズ制約（類似／非類似ペア）を用いてランダムフォレストを訓練し、近接性の判別的表現を学習する。
• 最終的な距離は、すべての木における平均パス長から導出され、局所的なデータ密度および幾何構造に暗黙的に適応する。
• 個別インスタンスごとのメトリック行列を明示的に保持しないため、高速な推論と低メモリ使用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 個別インスタンスのメトリック行列を保持しないまま、局所的なデータ幾何構造に暗黙的に適応できる単一のメトリック学習手法は可能か？
• RQ2 相対的位置に加えて絶対的位置情報を組み込むことで、相対的位置のみに依存する手法に比べて、メトリック学習の性能がどのように向上するか？
• RQ3 ランダムフォレストに基づくアプローチは、メトリック学習において高い精度と計算効率の両方を達成できるか？
• RQ4 RFDは、最先端のグローバル手法およびマルチメトリック手法と比較して、精度と速度の両面でどのように差をつけるか？
• RQ5 絶対的位置情報の組み込みにより、多様なデータ分布にわたる一般化性能が向上するか？

主な発見

• RFDは、複数のデータセットにおいて、k-NN分類においてグローバル手法（例：ITML、DCA）およびマルチメトリック手法を常に上回り、全評価で最高の精度を達成した。
• Corel画像データセットでは、10のカテゴリーのうち9つで最高のリtrieval精度を達成した。1つのカテゴリーを除き、わずかな性能低下にとどまった。
• 最悪ケースにおいても、RFDは最も高速なマルチメトリック手法の16倍高速であり、顕著な計算効率を示した。
• マルチメトリック手法とは異なり、RFDはk値が大きくなっても高い性能を維持した。これは、データに存在するグローバルな非線形性に対しても頑健であることを示している。
• ITMLおよびDCAと比較して、それぞれ7および5のカテゴリーでRFDが優れた性能を示し、特定のデータ領域における性能低下にあまり左右されないことがわかった。
• k値が増加しても、性能に顕著な低下が見られず、RFDは優れた一般化性能を示した。これは、モノリシックなグローバル手法とは対照的である。