[論文レビュー] Learning Transformations for Classification Forests

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|Dec 19, 2013

Face and Expression Recognition参考文献 17被引用数 9

ひとこと要約

この論文では、分類フォレストの性能を向上させるために、各スプリットノードで線形変換を学習する新しいフレームワーク「Transformation Forests」を提案する。核ノルムを用いた最適化により、各クラス内の低ランク構造を回復させるとともに、クラス間の部分空間角度を最大化することで、クラス分離を向上させる。理論的・実験的両面で、標準的な弱学習器やLDAベースの手法を著しく上回る性能を発揮する。

ABSTRACT

This work introduces a transformation-based learner model for classification forests. The weak learner at each split node plays a crucial role in a classification tree. We propose to optimize the splitting objective by learning a linear transformation on subspaces using nuclear norm as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same class, and, at the same time, maximizes the separation between different classes, thereby improving the performance of the split function. Theoretical and experimental results support the proposed framework.

研究の動機と目的

• 顔画像におけるポーズの変化や照明効果などの、現実世界の高次元データにおける低次元の内因的構造の劣化を緩和すること。
• 各スプリットノードで分離能を向上させるための特徴的な変換を学習することで、分類フォレストにおける弱学習器の性能を向上させること。
• クラス内データに対して低ランク構造を回復させつつ、クラス間部分空間角度を最大化する計算効率の良い手法を開発すること。
• 従来の弱学習器やLDAを上回るフレームワークを提供することにより、ノイズや損傷を含むデータ条件下でも分類フォレスト設定で優れた性能を発揮すること。

提案手法

• 各スプリットノードで、データを低ランク構造を示す空間に写像するための d×d 線形変換 T を学習する。
• ランク最小化の凸近似として核ノルムを用いて最適化問題を定式化し、変換後のクラス内データに低ランク構造を促進する。
• 目的関数は、変換後の正例クラスデータの核ノルムを最小化するとともに、負例クラスデータの核ノルムを最大化することで、クラス間分離を強化する。
• 特異値しきい値処理を用いて最適化を解き、トレーニング中の計算を効率化する。
• 学習された変換は、追加コストなしにテスト時にも適用可能であり、あらかじめ計算済みで固定されている。
• ランダムフォレストに統合され、各木のスプリットノードで弱学習器を適用する前に、学習済み変換が適用される。

実験結果

リサーチクエスチョン

• RQ1 各スプリットノードで線形変換を学習することで、分類フォレストにおける弱学習器の識別力が向上するか？
• RQ2 核ノルムに基づく最適化により、クラス内データに対する低ランク構造回復がどのように向上するか？
• RQ3 現実世界のデータ損傷条件下でも、提案手法が標準的弱学習器やLDAを上回る分類精度を示すか？
• RQ4 部分空間角度を最大化することで、変換がクラス間分離をどの程度向上させるか？
• RQ5 変換学習フレームワークは、推論コストを増加させることなく、既存のランダムフォレストアーキテクチャに効率的に統合可能か？

主な発見

• 提案手法は、低次元構造が損傷を受けるデータにおいて、標準的弱学習器やLDAを著しく上回る分類タスク性能を発揮する。
• 学習された変換は、ポーズの変化や照明変化などの現実世界の歪みに対しても、同じクラスからのデータに対して低ランク構造を効果的に回復する。
• 核ノルム最適化により、クラス内凝集性とクラス間分離性が成功裏に促進され、スプリット関数の性能向上が実現された。
• 理論的分析により、直交する列空間を持つ行列の連結核ノルムが部分加法的であることが証明され、本手法の設計を裏付ける。
• 実験的結果により、複数のデータセットで一貫した性能向上が確認され、ベースライン手法に比べて分類精度が明確に向上した。
• テスト時の変換は計算効率が高く、一度学習されれば推論時にも追加コストなしに適用可能である。