[論文レビュー] Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces

Kan Li, José C. Prı́ncipe|arXiv (Cornell University)|Jan 1, 2020

Advanced Adaptive Filtering Techniques参考文献 29被引用数 6

ひとこと要約

本論文は、データに依存しない有限次元の特徴写像を活用することで、情報理論的学習（ITL）記述子（情報ポテンシャルやコルレントロピーなど）の高速でスケーラブルかつ高精度な推定を可能にする明示的内積空間（EIPS）カーネルを提案する。この手法は定数の計算複雑性を達成し、特に大規模データおよびストリーミングデータ応用において、従来のカーネル手法よりも高速でありながら高い精度を維持する。

ABSTRACT

Kernel methods form a theoretically-grounded, powerful and versatile framework to solve nonlinear problems in signal processing and machine learning. The standard approach relies on the \emph{kernel trick} to perform pairwise evaluations of a kernel function, leading to scalability issues for large datasets due to its linear and superlinear growth with respect to the training data. Recently, we proposed \emph{no-trick} (NT) kernel adaptive filtering (KAF) that leverages explicit feature space mappings using data-independent basis with constant complexity. The inner product defined by the feature mapping corresponds to a positive-definite finite-rank kernel that induces a finite-dimensional reproducing kernel Hilbert space (RKHS). Information theoretic learning (ITL) is a framework where information theory descriptors based on non-parametric estimator of Renyi entropy replace conventional second-order statistics for the design of adaptive systems. An RKHS for ITL defined on a space of probability density functions simplifies statistical inference for supervised or unsupervised learning. ITL criteria take into account the higher-order statistical behavior of the systems and signals as desired. However, this comes at a cost of increased computational complexity. In this paper, we extend the NT kernel concept to ITL for improved information extraction from the signal without compromising scalability. Specifically, we focus on a family of fast, scalable, and accurate estimators for ITL using explicit inner product space (EIPS) kernels. We demonstrate the superior performance of EIPS-ITL estimators and combined NT-KAF using EIPS-ITL cost functions through experiments.

研究の動機と目的

• 情報理論的学習（ITL）推定子の高い計算コストに取り組むこと。これは、全グラム行列の計算に起因し、データセットサイズに超線形的に増加する。
• ノートリック（NT）カーネル適応フィルタリングフレームワークをITLに拡張すること。これにより、暗黙の写像を用いずに、カーネル性質を保持する明示的かつ有限次元の特徴写像を可能にする。
• 明示的内積空間（EIPS）カーネルを用いて、高速でスケーラブルかつ高精度なITL推定子の族を開発することにより、情報抽出を向上させること。
• EIPS-ITL推定子が反復処理あたり定数のCPU時間で推定を維持しながらも高い精度を保つこと、リアルタイムおよびストリーミング応用を可能にすることを示すこと。

提案手法

• 確定的（ガウス＝クライアージャー、テイラー級数）、確率的（ランダムフーリエ特徴）およびハイブリッド手法を用いて、有限ランクのメルツァー（Mercer）カーネルを定義する明示的特徴写像を構築する。
• メルツァーの定理を活用し、カーネルを正規直交基底関数の有限和として表現することで、正定値性と数値的安定性を保証する。
• 情報ポテンシャル（IP）および相互情報ポテンシャル（CIP）を、有限次元の特徴空間における明示的内積により計算し、全グラム行列の保存および計算を回避する。
• 標準的なカーネルトリックに代えて明示的特徴写像を用いることで、データセットサイズに依存しない反復処理あたり定数時間の計算が可能になる。
• EIPS-ITLのコスト関数（最大コルレントロピー、最小誤差エントロピーなど）を用いることで、カーネル適応フィルタリング（KAF）と統合する。
• 効率性を高めるために、全二重和IP推定と単一和の確率的情報勾配（SIG）近似の両方を用いて検証する。

実験結果

リサーチクエスチョン

• RQ1 明示的内積空間（EIPS）カーネルを用いることで、情報ポテンシャルやコルレントロピーなどのITL記述子の高速でスケーラブルな推定が可能になるか？
• RQ2 提案されたEIPS-ITLフレームワークは、従来のカーネル手法と比較して計算複雑性を低減しながらも、精度を維持するか？
• RQ3 EIPS-ITL推定子の計算複雑性は、データセットサイズの増加に伴いどのように変化するか。特にオンラインおよびストリーミング環境においては？
• RQ4 EIPS-ITLは、性能とスケーラビリティを向上させるために、カーネル適応フィルタリング（KAF）アルゴリズムに効果的に統合可能か？

主な発見

• EIPS-ITL推定子は反復処理あたり定数のCPU時間で推定を実現しており、従来のカーネル手法とは異なり、データセットサイズに応じた（超）線形的増加を示さない。これは、大規模データおよびストリーミングデータに最適である。
• EIPSに基づくNT-KMCCおよびNT-KMEEアルゴリズムは、標準的なKAF（KLMS、KMCC）およびスパarsified KAF（QKMCC）と比較して、反復処理あたり定数時間の複雑性を維持しながら、著しく高速である。
• 4次テイラー級数展開（TS）を用いたNT-KMEEは、線形MEE-SIGと同等の性能を達成したが、カーネルSIG手法と比較してはるかに低い計算コストであった。
• EIPS-ITLにおける直接的な全情報ポテンシャル（二重和）計算は最も高い実行時間を要したが、それでも従来手法とは異なり定数の複雑性を維持しており、データセットサイズの増加に伴う時間の増加は見られなかった。
• EIPSフレームワークにより、ITL基準を用いた高次モーメントの高精度な推定が可能になり、スケーラビリティを損なわず、速度および収束特性の両面で優れた性能を示した。