[論文レビュー] Multivariate Extension of Matrix-based Renyi's \alpha-order Entropy Functional

Shujian Yu, Luis G. Sánchez Giraldo+2 more|arXiv (Cornell University)|Aug 23, 2018

Remote-Sensing Image Classification参考文献 45被引用数 5

ひとこと要約

本論文は、行列ベースのRényiのα順序エントロピー関数への多次元設定への拡張を提案し、確率密度推定を伴わずに、データから結合エントロピーおよび相互情報量や総相関などの多次元情報量を直接推定可能にする。この手法は、ハイパースペクトル画像における特徴選択において、安定性・正確性・解釈可能性に優れたアプローチを提供し、既存手法に比べてバンド選択の一貫性と分類の均一性において優れている。

ABSTRACT

The matrix-based Renyi's \alpha-order entropy functional was recently introduced using the normalized eigenspectrum of a Hermitian matrix of the projected data in a reproducing kernel Hilbert space (RKHS). However, the current theory in the matrix-based Renyi's \alpha-order entropy functional only defines the entropy of a single variable or mutual information between two random variables. In information theory and machine learning communities, one is also frequently interested in multivariate information quantities, such as the multivariate joint entropy and different interactive quantities among multiple variables. In this paper, we first define the matrix-based Renyi's \alpha-order joint entropy among multiple variables. We then show how this definition can ease the estimation of various information quantities that measure the interactions among multiple variables, such as interactive information and total correlation. We finally present an application to feature selection to show how our definition provides a simple yet powerful way to estimate a widely-acknowledged intractable quantity from data. A real example on hyperspectral image (HSI) band selection is also provided.

研究の動機と目的

• 複数の確率変数に対して、行列ベースのRényiのα順序結合エントロピーを多次元結合エントロピーへ拡張すること。
• 相互情報量や総相関などの複雑な多次元情報量の効率的推定を可能にすること。
• 密度推定を回避するデータ駆動型でPDFフリーな特徴選択手法を提供し、近似や分解を必要としないこと。
• 実世界の性能向上を示すために、ハイパースペクトル画像のバンド選択における本手法の有効性を実証すること。

提案手法

• 再生核ヒルバート空間（RKHS）におけるグラム行列の正規化固有スペクトルを用いて、多次元Rényiのα順序結合エントロピーの行列ベース定義を導入する。
• カーネルトリックを活用してデータをRKHSにマップすることで、明示的なPDF推定を回避する。
• 固有値に基づいて、多次元相互測定（例：相互情報量、総相関）を直接定義する。
• 特徴の情報理論的寄与度に基づいて順位付けすることで、この定式化を特徴選択に応用する。
• 密度推定を伴わずにエントロピーおよび相互情報量をカーネルベースで推定する。
• 全体正解率（OA）や平均正解率（AA）などの精度指標を用いて、ハイパースペクトル画像データ上で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 行列ベースのRényiのα順序エントロピーは、複数の変数にわたる多次元結合エントロピーへどのように一般化可能か？
• RQ2 この多次元拡張は、相互情報量や総相関のような複雑な情報量の正確で安定した推定を可能にするか？
• RQ3 本手法は、安定性および分類性能の観点から、既存の特徴選択手法と比較してどのように異なるか？
• RQ4 本手法は、確率密度推定を伴わず、高次元で連続的かつ複雑なデータ（例：ハイパースペクトル画像）を効果的に処理できるか？

主な発見

• 提案された多次元行列ベースRényiのα順序結合エントロピーは、2変量定義と整合的であり、多次元情報量の直接推定を可能にする。
• 小さなトレーニングギャラリー（例：1%サンプル）を用いた場合、JMIと比較して一貫して高い全体正解率（OA）と平均正解率（AA）を達成する。
• 10回の独立実験においても、キーバンド（1, 25, 35, 57, 75, 89）が一貫して選択され、データの摂動にもかかわらず安定性が保たれている。
• 分類マップでは、OAとAAの値がJMIと同程度でも、草地・牧場やソルト・クリーン領域において均一性が向上している。
• 選択されたバンドはスクリーン全体にわたって均等に分布しており、冗長性を低減し、識別能を向上させている。
• 近似や分解を伴わず、理想の相互情報量の目的関数に非常に近い結果を示しており、理論的・実証的妥当性が強く裏付けられている。