[論文レビュー] Information Theoretical Estimators Toolbox

Zoltán Szabó|arXiv (Cornell University)|May 8, 2014

Blind Source Separation Techniques参考文献 16被引用数 104

ひとこと要約

この論文は、連続的な確率変数におけるエントロピー、相互情報量、ダイバージェンス、関連性、分布カーネルなどの多様な情報理論的測度の非パラメトリック推定を可能にする、フリーでオープンソースのマルチプラットフォームな Matlab/Octave ツールボックスである ITE（Information Theoretical Estimators）を紹介する。モジュラーなアーキテクチャにより、推定器のシームレスな組み合わせ、新規手法の迅速なプロトタイピング、最適化問題への直接応用が可能であり、独立部分空間分析（ISA）およびその拡張におけるプロトタイプ実装が含まれる。

ABSTRACT

We present ITE (information theoretical estimators) a free and open source, multi-platform, Matlab/Octave toolbox that is capable of estimating many different variants of entropy, mutual information, divergence, association measures, cross quantities, and kernels on distributions. Thanks to its highly modular design, ITE supports additionally (i) the combinations of the estimation techniques, (ii) the easy construction and embedding of novel information theoretical estimators, and (iii) their immediate application in information theoretical optimization problems. ITE also includes a prototype application in a central problem class of signal processing, independent subspace analysis and its extensions.

研究の動機と目的

• 連続変数における情報理論的測度を推定するための包括的で拡張可能かつオープンソースなツールの不足に対処すること。
• 推定手法の組み合わせと新規推定器の統合を可能にする統一的でモジュラーなフレームワークを提供すること。
• 独立部分空間分析（ISA）のような情報理論的最適化問題に推定器を直接応用できること。
• Rényi, Tsallis, Bregman ダイバージェンス、カーネルに基づく依存性測度、分布カーネルを含む広範な測度をサポートすること。
• 特に未知のソース次元を持つ ISA に対して、スケーラブルでロバストな推定を可能とすること。

提案手法

• すべての推定器が統一されたテンプレートインタフェースに従う、非常にモジュラーなツールボックスアーキテクチャを設計し、基本推定器とメタ推定器の両方に対して一貫した呼び出し構文を実現すること。
• 特に k-最近傍法（k-NN）手法を用いた非パラメトリック推定技術を実装し、次元が高くなると顕著になる密度推定のスケーリング問題を回避すること。
• 既存の基本推定器を組み合わせることでメタ推定器を構築できるようにすること（例：対称化された KL-ダイバージェンス推定による J-距離）。
• ISA 分離原理をコアな応用として統合し、相互情報量の最小化やエントロピーの最大化といった情報理論的目的関数の最適化を可能にすること。
• ISA 及びその拡張における部分問題のための専用ソルバーを提供し、次元推定や ICA 成分のクラスタリングにスペクトルクラスタリングを活用すること。
• 解析的値と推定値の照合、グラム行列の半正定値性テスト、画像登録ベンチマークなど、組み込みの検証ツールを提供すること。

実験結果

リサーチクエスチョン

• RQ1 連続変数における多様な情報理論的測度を推定するための統一的で拡張可能かつオープンソースなツールボックスをどのように設計できるか？
• RQ2 モジュラー設計によって、コアロジックの再実装なしに既存の推定器を組み合わせて新たなメタ推定器を構築できる範囲はどの程度か？
• RQ3 このツールボックスは、未知のソース次元を持つ独立部分空間分析のような複雑な信号処理分野の最適化問題を効率的にサポートできるか？
• RQ4 特に大規模な ICA 成分のクラスタリングにおいて、高次元設定でもロバストでスケーラブルな推定をどのように保証できるか？
• RQ5 スケール不変な測度で十分な応用において、推定器に乗法的定数インジケータをサポートすることで、どのような影響が生じるか？

主な発見

• ITE は、エントロピー、相互情報量、ダイバージェンス、関連性、クロス量、分布カーネル測度を含む 50 種類以上の異なる情報理論的数量の推定をサポートしている。
• 既存の基本推定器を組み合わせることで、新しいメタ推定器を構築できる。例えば、k-NN 法を用いた対称化された KL-ダイバージェンス推定により J-距離を実現している。
• 統一された構文とモジュラー設計により、任意の推定器を直接最適化目的関数（例：ISA における相互情報量の最小化やエントロピーの最大化）に使用できる。
• ツールボックスは効率的にスケーリング可能である：ISA のためのスペクトルクラスタリングベースのソルバーは、標準のデスクトップコンピュータで最大 100 万個の ICA 成分を数分で処理できる。
• 解析的値と推定値の照合、グラム行列テストなどの検証ツールの組み込みにより、推定器の信頼性と正しさが保証されている。
• ITE は GNU GPLv3 ライセンスでリリースされており、マルチプラットフォーム対応であり、標準ツールボックス以外の外部依存は一切ない。