[論文レビュー] Discriminative Probabilistic Prototype Learning

Edwin V. Bonilla, Antonio Robles‐Kelly|arXiv (Cornell University)|Jun 18, 2012

Image Retrieval and Classification Techniques参考文献 18被引用数 6

ひとこと要約

本稿では、各入力を特徴ベクトルの混合確率としてモデル化し、各ベクトルが隠れプロトタイプに属する可能性を尤度最大化により学習する、判別的確率的プロトタイプ学習フレームワークを提案する。この手法は、モデルパラメータとプロトタイプを同時に判別的に学習可能である点で、従来の学習ベクトル量子化（LVQ）を一般化し、形状分類、ハイパースペクトル画像処理、職業分類のタスクにおいてベースライン手法よりも優れた性能を達成する。

ABSTRACT

In this paper we propose a simple yet powerful method for learning representations in supervised learning scenarios where each original input datapoint is described by a set of vectors and their associated outputs may be given by soft labels indicating, for example, class probabilities. We represent an input datapoint as a mixture of probabilities over the corresponding set of feature vectors where each probability indicates how likely each vector is to belong to an unknown prototype pattern. We propose a probabilistic model that parameterizes these prototype patterns in terms of hidden variables and therefore it can be trained with conventional approaches based on likelihood maximization. More importantly, both the model parameters and the prototype patterns can be learned from data in a discriminative way. We show that our model can be seen as a probabilistic generalization of learning vector quantization (LVQ). We apply our method to the problems of shape classification, hyperspectral imaging classification and people's work class categorization, showing the superior performance of our method compared to the standard prototype-based classification approach and other competitive benchmark methods.

研究の動機と目的

• ソフトラベルを用いた教師あり学習におけるプロトタイプ学習の統一的確率的フレームワークの構築を目的とする。
• データからモデルパラメータとプロトタイプパターンの両方を判別的に訓練可能にする。
• 従来の学習ベクトル量子化（LVQ）を確率的でソフト割り当て可能なフレームワークに一般化する。
• 形状認識やハイパースペクトル画像処理のような複雑なタスクにおける分類精度の向上を図る。
• 特徴ベクトルの集合として構造化されたデータに対する柔軟な表現学習手法を提供する。

提案手法

• 各入力を、その構成要素である特徴ベクトルにおける確率の混合としてモデル化し、各確率はベクトルが隠れプロトタイプに属する可能性を反映する。
• プロトタイプパターンは潜在変数を用いてパrameter化され、尤度最大化によるエンドツーエンドの学習が可能となる。
• 生成的確率的定式化を採用しており、最大尤度推定による判別的ファインチューニングをサポートする。
• フレームワークはソフトラベルの監視を可能とし、出力がハードラベルではなくクラス確率となる。
• 訓練は尤度関数に対する標準的な最適化手法を用い、プロトタイプとモデルパラメータの共同学習が可能となる。
• 本手法は、プロトタイプを判別的に学習する確率的LVQの一般化と解釈できる。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルは、同時に判別的パラメータ最適化を可能にしつつ、データからプロトタイプを効果的に学習できるか？
• RQ2 提案手法は、標準的なLVQや他のプロトタイプベース手法と比較して、分類精度で優れているか？
• RQ3 本フレームワークは、従来の手法と比較して、ソフトラベルおよび集合構造の入力に対してより効果的に対処できるか？
• RQ4 本モデルは、形状分類やハイパースペクトル画像処理のような多様な分野にどの程度一般化可能か？
• RQ5 プロトタイプとモデルパラメータの共同学習は、分離学習や生成的学習のみに比べてより効果的か？

主な発見

• 提案手法は、形状分類タスクにおいて、標準的なプロトタイプベース分類手法や他のベンチマーク手法を上回る性能を示した。
• ハイパースペクトル画像処理分類において、本モデルは従来のLVQや関連する確率的モデルよりも高い精度を達成した。
• 人々の職業分類タスクにおいて、ソフトラベルデータに対して本手法は優れた性能を示した。
• モデルの確率的定式化により、特徴ベクトルがプロトタイプに割り当てられる際の不確実性をより良好に扱えるようになった。
• プロトタイプとパラメータの共同判別的学習は、多様なデータセットにおいて一般化性能とロバスト性の向上に寄与した。
• 本手法は、表現力と性能の両方を向上させた、原理的かつ確率的なLVQの一般化であることが示された。