[論文レビュー] Relevant sparse codes with variational information bottleneck

Matthew Chalk, Olivier Marre+1 more|arXiv (Cornell University)|May 24, 2016

Blind Source Separation Techniques参考文献 18被引用数 50

ひとこと要約

本稿では、入力Xを圧縮しながら関連変数Yに関する情報を最大化することにより、スパースで関連性のある表現を学習できる、情報ボトルネック（IB）フレームワークにおける変分推論アプローチを提案する。変分下界とカーネル化を用いることで、高次元で非ガウスなデータを効率的に処理し、XとYを同時に説明するスパース特徴を回復する。この手法は、知覚的埋め込みや数字再構成といったタスクにおいて、標準IBおよびスパースコーディングモデルを凌駕する性能を示す。

ABSTRACT

In many applications, it is desirable to extract only the relevant aspects of data. A principled way to do this is the information bottleneck (IB) method, where one seeks a code that maximizes information about a 'relevance' variable, Y, while constraining the information encoded about the original data, X. Unfortunately however, the IB method is computationally demanding when data are high-dimensional and/or non-gaussian. Here we propose an approximate variational scheme for maximizing a lower bound on the IB objective, analogous to variational EM. Using this method, we derive an IB algorithm to recover features that are both relevant and sparse. Finally, we demonstrate how kernelized versions of the algorithm can be used to address a broad range of problems with non-linear relation between X and Y.

研究の動機と目的

• 高次元かつ非ガウスなデータ設定における情報ボトルネック（IB）手法の計算的非実行性を解決すること。
• 入力Xを圧縮しながらターゲット変数Yへの関連性を最大化するスパース表現を学習できる、実行可能でスケーラブルなアルゴリズムを開発すること。
• カーネル法を用いてIBフレームワークを非線形問題に拡張し、XとYの間の共有潜在特徴の発見を可能にすること。
• 関連変数Yを通じたタスク関連の監視を組み込むことで、スパースコーディングやinfomaxモデルに対する原理的代替案を提供すること。
• 学習されたスパース特徴が、さまざまなタスクに一般化でき、オクルージョンタスクにおける知覚的現象（例：埋め込み）を再現できることを示すこと。

提案手法

• 正確な推論が非現実的である場合に備え、IB目的関数に対する変分下界を提案することで、最適化を実行可能にする。
• 反復的変分EMに類似したアルゴリズムを用いる：まず変分近似q(y|r)とq(r)を最適化し、次にp(r|x; Θ)の符号化パラメータΘを最適化する。
• 計算的実行可能性を保ちつつスパース性を誘導するため、q(y|r)には線形ガウス分布、q(r)にはスパース事前分布を含む制限付きの変分分布族を採用する。
• 入力空間にカーネル化を適用し、カーネル関数を介してXを高次元特徴空間にマッピングすることで、非線形特徴の発見を可能にする。
• 展開係数がカーネルリッジ回帰の一種に対応する形で、カーネル化IBアルゴリズムを導出する。これにより、タスク間の一般化が可能になる。
• 潜在コードrにスパース事前分布（例：スチューデントt分布）を適用することで、XとYの両方を同時に説明するスパース表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック手法に対する変分近似は、高次元で非ガウスなデータにおいて、スパースで関連性のある特徴を効果的に学習できるか？
• RQ2 関連変数Yの導入が、標準スパースコーディングモデルと比較して、学習された表現の構造的特徴とスパース性に与える影響は何か？
• RQ3 カーネル化IBは、入力Xと関連変数Yの間の非線形関係をどの程度回復できるか？また、カーネルCCAやKRRと比較して性能はいかがなものか？
• RQ4 学習されたスパース特徴は、オクルージョンタスクにおける知覚的現象（例：埋め込み）をサポートできるか？
• RQ5 ボトルネックパラメータγは、学習された表現における圧縮と関連性のトレードオフをどのように制御するか？

主な発見

• 変分IB手法は、知覚的埋め込みのモデリングにおいて、標準IBおよびスパースコーディングを凌駕するスパースで関連性のある特徴を効果的に学習した。特に、遮蔽領域と可視領域の両方が存在する際、応答がピークに達した。
• USPS手書き数字データセットにおいて、スパースカーネルIBアルゴリズムは、遮蔽領域にまで延びる復号化フィルタを回復したが、ベースライン手法とは異なり、実際の数字に類似した形状を示した。
• スパースkIBモデルの応答分布は、ガウスkIBと比較して顕著に重い尾部を示しており、よりスパースかつ選択的で明確な表現であることが示された。
• スパースkIBから得られた特徴は、タスク間で一般化可能であり、入出力マッピングが変化してもYをXから再構成可能であった。これに対してKRRは中間表現を持たないため、同様の一般化は不可能であった。
• CVAなどと異なり、本手法はボトルネックパラメータγによって特徴の数とスケールを自動的に決定する。
• 標準スパースコーディングやinfomaxモデルとは異なり、本フレームワークは応答分散の順に特徴を自然に順序付け、関連性の明確な階層を提供する。