[論文レビュー] Feature Selection for classification of hyperspectral data by minimizing a tight bound on the VC dimension

Phool Preet, Sanjit Singh Batra+1 more|arXiv (Cornell University)|Sep 27, 2015

Remote-Sensing Image Classification参考文献 16被引用数 5

ひとこと要約

本稿では、Vapnik-Chervonenkis (VC) 次元のタイトな上限を最小化することで、情報量の多いスペクトルバンドを選択する、ハイパースペクトル画像分類のための新しいフィルタベース特徴選択手法を提案する。モデルの複雑さに関する理論的上限を活用することで、Salinas や Botswana といった複数のベンチマークデータセットにおいて、最先端の手法と比較して分類精度とスパarsityの両面で優れた性能を達成し、F1スコアおよびマシュー相関係数（MCC）において一貫した向上を示した。

ABSTRACT

Hyperspectral data consists of large number of features which require sophisticated analysis to be extracted. A popular approach to reduce computational cost, facilitate information representation and accelerate knowledge discovery is to eliminate bands that do not improve the classification and analysis methods being applied. In particular, algorithms that perform band elimination should be designed to take advantage of the specifics of the classification method being used. This paper employs a recently proposed filter-feature-selection algorithm based on minimizing a tight bound on the VC dimension. We have successfully applied this algorithm to determine a reasonable subset of bands without any user-defined stopping criteria on widely used hyperspectral images and demonstrate that this method outperforms state-of-the-art methods in terms of both sparsity of feature set as well as accuracy of classification.\end{abstract}

研究の動機と目的

• 分類性能の低下を引き起こすハイパースペクトルデータの高次元性と冗長性に対処すること。
• 最小限の情報量を持つスペクトルバンドのサブセットを選択することで、計算コストを低減し、ハガーズ効果を緩和すること。
• 識別的な特徴を保持するとともに、ノイズや相関の高いバンドを除去することで、分類精度を向上させること。
• VC次元バウンドに基づく理論的根拠に基づく特徴選択手法の実世界のハイパースペクトル分類タスクにおける有効性を評価すること。
• VC次元のタイトなバウンドを最小化することで、従来のフィルタ手法と比較してより良い一般化性能とスパarsityが得られることを示すこと。

提案手法

• 本手法は、モデルの複雑さと一般化誤差を制御するVC次元のタイトな上界を最小化する最適化問題として特徴選択を定式化する。
• 分類器に依存しないフィルタベースのアプローチを採用し、反復的な学習を必要としない。
• アルゴリズムは、VC次元の理論的バウンドを低減する寄与度に基づいてスペクトルバンドをランク付けし、情報量が多く相関の低い特徴を優遇する。
• 選択プロセスはグリーディで効率的であり、数百バンドに達する高次元のハイパースペクトルデータに対してもスケーラブルである。
• ユーザーが定義する停止基準を必要としない。バウンド最小化が自然に最適なサブセットへの選択を導くからである。
• 特徴選択後、ベンチマークデータセットでの分類性能を評価するためにサポートベクターマシン（SVM）分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 VC次元のタイトなバウンドを最小化することは、高次元的かつ相関の高い特徴を有するハイパースペクトルデータにおいて、分類精度の向上をもたらすか？
• RQ2 提案手法は、特徴セットのスパarsityおよび分類性能の観点から、最先端のフィルタベース特徴選択手法と比較してどのように差をつけるか？
• RQ3 最小限の識別的スペクトルバンドのサブセットを選択することで、本手法はハガーズ効果を効果的に軽減するか？
• RQ4 VC次元に基づく選択戦略は、クラス数やバンド特性が異なる多様なハイパースペクトルデータセットに一般化可能か？
• RQ5 本手法は、実世界のハイパースペクトルシーンにおけるトレーニングデータとテストデータの比率の変化およびクラス不均衡に対して、頑健性を示すか？

主な発見

• Salinas データセット（テスト/トレーニング比 0.80、15 バンド）において、本手法は重み付き平均 MCC 0.9727 を達成し、MRMR（0.9397）、JMI（0.9058）、RELIEF（0.8318）を顕著に上回った。
• Botswana データセット（テスト/トレーニング比 0.90、15 バンド）において、本手法は重み付き平均 MCC 0.7012 を達成し、MRMR（0.4292）、JMI（0.3782）、RELIEF（0.5481）、PCA（0.3369）を上回った。
• 本手法は、競合手法と比較して、より少ないがより情報量の高いバンドを選択し、スパarsityを高める一方で分類精度を維持または向上させた。
• クラスごとの MCC 結果から、本手法は「Firescar2」や「Riparian」など、他の手法でうまく分類できなかった困難なクラスに対しても強固な性能を維持した。
• ユーザー定義の停止基準が不要であった。バウンド最小化プロセスが自然に最適なサブセットへの選択を導いたためである。
• 本手法は、クラス数やスペクトル特性が異なるデータセットに対しても一貫して高い性能を示し、強力な一般化可能性を示した。