[論文レビュー] Features in Concert: Discriminative Feature Selection meets Unsupervised Clustering

Marius Leordeanu, Alexandra Radu+1 more|arXiv (Cornell University)|Nov 27, 2014

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、教師あり線形分類を教師なしクラスタリング問題に変換することで、スパースで多様性があり、強力な特徴量のアンサンブルを同時に同定する、凸的で判別的な特徴選択手法を提案する。アフィン制約とスパarsity制約を課すことにより、効率的にコンパクトで高性能な特徴量グループを同定でき、特にデータが限られた状況下でもAdaBoost、グリーディ選択、SVMよりも高速かつ高精度である。

ABSTRACT

Feature selection is an essential problem in computer vision, important for category learning and recognition. Along with the rapid development of a wide variety of visual features and classifiers, there is a growing need for efficient feature selection and combination methods, to construct powerful classifiers for more complex and higher-level recognition tasks. We propose an algorithm that efficiently discovers sparse, compact representations of input features or classifiers, from a vast sea of candidates, with important optimality properties, low computational cost and excellent accuracy in practice. Different from boosting, we start with a discriminant linear classification formulation that encourages sparse solutions. Then we obtain an equivalent unsupervised clustering problem that jointly discovers ensembles of diverse features. They are independently valuable but even more powerful when united in a cluster of classifiers. We evaluate our method on the task of large-scale recognition in video and show that it significantly outperforms classical selection approaches, such as AdaBoost and greedy forward-backward selection, and powerful classifiers such as SVMs, in speed of training and performance, especially in the case of limited training data.

研究の動機と目的

• コンピュータビジョンおよび機械学習分野において、膨大な候補から最適で多様性があり、判別的な特徴量を選択する課題に対処すること。
• AdaBoost や遺伝的アルゴリズムなどのグリーディ法・ヒューリスティック法の限界を克服し、強い分類器や多様性のある分類器を効果的に扱えるようにすること。
• 最小限のトレーニングデータでも、高速でスケーラブルかつ正確な特徴選択を可能にする手法を開発すること。
• 教師あり特徴選択、教師なしクラスタリング、線形判別分析を統一された凸最適化定式化によって統合すること。
• トレーニング時間の入力画像数に依存しないことにより、動的環境でのリアルタイムかつ動的認識を可能にすること。

提案手法

• 解の重みに上限値を課す制約とアフィン結合要件を満たす2つの制約を備えた、判別的線形分類問題として特徴選択を定式化する。
• 選択された特徴量が正のクラスと正の相関関係にあるように制約を課し、判別力の向上を促進する。
• 制約付き線形分類問題を、多様で高性能な特徴量アンサンブルを同時に発見できる等価な教師なしクラスタリング問題に変換する。
• 凸最適化を活用し、非ゼロ重みが等しくなるようにスパース解を保証することで、自動的にコンパクトな特徴量サブセットを選択する。
• 事前学習済みのImageNet分類器を入力特徴量として用い、複数の画像領域に適用することで多様性と空間的文脈を向上させる。
• 小規模でランダムにサンプリングされたトレーニングセットを用いて、大規模な動画認識タスクに本手法を適用し、ロバストネスと一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityと高い性能を同時に満たしつつ、判別的で多様な特徴量を同時に選択できる凸最適化フレームワークを設計できるか？
• RQ2 データが限られた状況下で、AdaBoost やグリーディ前向き後向き選択、SVM といった既存手法と比較して、本手法のトレーニング速度と精度はどの程度優れているか？
• RQ3 意味的に無関係なが、視覚的または文脈的に類似した特徴量が、アンサンブル学習によって分類性能をどの程度向上できるか？
• RQ4 最小限のトレーニングデータでも、外観、文脈、またはパーツ・ホール関係によって関連する特徴量を信頼性高く同定・クラスタリングできるか？
• RQ5 既存の高レベル概念を組み合わせることで、本手法がゼロショットまたはフェイシュート学習を効果的に可能にするか？

主な発見

• 6,160個の分類器からなる特徴量プールを用いた場合、YouTube-Objectsで10枚のトレーニングショットでの精度が69.99％に達し、小さなプールと比較して性能が2倍以上に向上した。
• 20枚のトレーニングショットでは、最大の特徴量プールを用いて71.31％の精度に到達し、スケーラビリティとデータ効率性が顕著に示された。
• 30回の独立した試行においても、本手法は常に同じ50個の最重要特徴量を選択しており、小規模なトレーニングセット下でも高い安定性を示した。
• 選択された特徴量には、意味的に遠く離れているが視覚的または文脈的に類似したクラス（例：鉄道用の鉄橋が飛行機を表す、タイガーシャークが飛行機を表す）が含まれており、外観および文脈クラスタリングの強力さが浮き彫りになった。
• 元のImageNet 1000ラベルセットに存在しない「cow」（牛）というクラスを、既存の分類器を組み合わせることで効果的に学習し、フェイシュート一般化の有効性を示した。
• トレーニング時間は入力画像数に依存しないため、動的環境でのリアルタイムデプロイメントが可能となった。