[論文レビュー] Information Theoretic Learning with Infinitely Divisible Kernels

Luis G. Sánchez Giraldo, José C. Prı́ncipe|arXiv (Cornell University)|Jan 16, 2013

Neural Networks and Applications参考文献 9被引用数 13

ひとこと要約

本稿では、無限可除カーネルを用いてデータのグラム行列から直接エントロピーに類似した汎関数を定義する、情報理論的学習フレームワークを提案する。密度推定を回避するため、正定値行列の固有値特性を活用し、Rényiのエントロピー公理を拡張することで、行列ベースの条件付きエントロピーの類似物を構築する。この手法は、最先端の手法と同等の性能を示す教師ありメトリクス学習に成功して応用された。

ABSTRACT

In this paper, we develop a framework for information theoretic learning based on infinitely divisible matrices. We formulate an entropy-like functional on positive definite matrices based on Renyi's axiomatic definition of entropy and examine some key properties of this functional that lead to the concept of infinite divisibility. The proposed formulation avoids the plug in estimation of density and brings along the representation power of reproducing kernel Hilbert spaces. As an application example, we derive a supervised metric learning algorithm using a matrix based analogue to conditional entropy achieving results comparable with the state of the art.

研究の動機と目的

• 無限可除カーネルから得られるグラム行列を用いて、密度推定を回避するデータ駆動型情報理論的学習フレームワークを構築すること。
• Rényiの公理的定義を正定値行列に適応し、非負性や無限可除性といった重要な性質を満たすエントロピーに類似した汎関数を定義すること。
• ハダマード積と固有値分解を用いて、行列枠組み内での情報理論的量（例えば、結合エントロピーおよび条件付きエントロピー）の類似物を確立すること。
• 行列ベースの条件付きエントロピーを用いた教師ありメトリクス学習アルゴリズムを通じて、本フレームワークの実用性を示すこと。
• 本手法が、パrametricな密度仮定に依存せずに、ベンチマークデータセットで競争力のある性能を達成できることを示すこと。

提案手法

• 無限可除カーネルから得られるグラム行列に対して、スペクトル定理を用いて非負性および連続性を保証するエントロピーに類似した汎関数を定義する。
• 正定値行列の空間にRényiのエントロピー公理を適応させ、非負性、対称性、無限可除性といった性質を満たすようにする。
• 結合エントロピーは、グラム行列のハダマード積を用いて定式化され、行列演算を通じて条件付きエントロピーの類似物を導出可能となる。
• 古典的定義を模倣する行列演算を用いて、条件付きエントロピーの類似物を構築し、再生核ヒルバート空間内で最適化を可能にする。
• 勾配降下法を用いて、提案された行列ベースの条件付きエントロピーをコスト関数として最小化することで、教師ありメトリクス学習アルゴリズムを導出する。
• 明示的な密度推定を回避し、データ類似度行列に直接作用させることで、再生核ヒルバート空間の構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 密度推定を伴わず、グラム行列に直接エントロピーに類似した汎関数を定義できるか？
• RQ2 Rényiのエントロピー公理的定義を正定値行列の空間にどのように適応できるか？
• RQ3 カーネルの無限可除性が、データ行列上の有効な情報理論的汎関数を構築する上で果たす役割は何か？
• RQ4 行列ベースの条件付きエントロピーの類似物を定式化し、学習アルゴリズムで効果的に使用できるか？
• RQ5 本フレームワークは、密度推定に依存せず、メトリクス学習で競争力のある性能を示せるか？

主な発見

• 無限可除カーネルから導出された本手法の行列ベースのエントロピー汎関数は、非負性および無限可除性といった重要な公理的性質を満たす。
• 本フレームワークは、ハダマード積とグラム行列の固有値分解を用いて、結合エントロピーおよび条件付きエントロピーの類似物を効果的に定義できた。
• 提案された条件付きエントロピー類似物に基づく教師ありメトリクス学習アルゴリズムは、UCIおよびUMistデータセットにおいて、最先端の手法と同等またはそれ以上の分類誤差率を達成した。
• UMist顔認識データセットでは、2次元空間で顔クラスを効果的に分離する意味のある線形射影が得られ、グラム行列が共起行列を近似していた。
• 実験の結果、エントロピーの次数αが高いほど単峰性の解が支持され、αが低い（例：1.01）と柔軟性が向上し、合成二峰性データセットにおいて60回中58回がより分離性の高い方向を選択した。
• 本手法は、UCIベンチマークデータおよび高次元の顔画像を含む複数のデータセットで、明示的な密度推定を必要とせず、安定かつ競争力のある性能を示した。