[論文レビュー] Spectral Inference Networks: Unifying Spectral Methods With Deep Learning

David Pfau, Stig Petersen+3 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用数 3

ひとこと要約

スペクトル推論ネットワーク（SINs）は、確率的最適化を用いて対称線形作用素の固有関数を学習することで、スペクトル手法とディープラーニングを統合する。このフレームワークにより、動画および強化学習データからの教師なし表現学習が可能となり、固有関数を正確に回復し、解釈可能な特徴量や部分的目標を発見できる。

ABSTRACT

We present Spectral Inference Networks, a framework for learning eigenfunctions of linear operators by stochastic optimization. Spectral Inference Networks generalize Slow Feature Analysis to generic symmetric operators, and are closely related to Variational Monte Carlo methods from computational physics. As such, they can be a powerful tool for unsupervised representation learning from video or pairs of data. We derive a training algorithm for Spectral Inference Networks that addresses the bias in the gradients due to finite batch size and allows for online learning of multiple eigenfunctions. We show results of training Spectral Inference Networks on problems in quantum mechanics and feature learning for videos on synthetic datasets as well as the Arcade Learning Environment. Our results demonstrate that Spectral Inference Networks accurately recover eigenfunctions of linear operators, can discover interpretable representations from video and find meaningful subgoals in reinforcement learning environments.

研究の動機と目的

• 任意の対称作用素に一般化されたスローフィーチャー分析（Slow Feature Analysis）を実現するディープラーニングフレームワークの開発。
• 確率的最適化を用いた、複数の固有関数のオンラインでバイアスのない学習の実現。
• この手法を動画データおよび強化学習環境における教師なし表現学習に応用。
• ミニバッチ学習における勾配バイアスを解消することで、スペクトル手法とディープラーニングを統合。

提案手法

• 固有関数学習をニューラルネットワークでパrameter化されたアンザッツに関する変分最適化問題として定式化する。
• 有限バッチサイズに起因するバイアスを軽減するために、補正された勾配推定器を用いた確率的勾配降下法を採用する。
• 学習中に正規直交制約を課すことで、複数の固有関数のオンライン学習を可能にする。
• 共分散行列に限らない任意の対称作用素にまで拡張することで、スローフィーチャー分析を一般化する。
• 変分モンテカルロの原則に基づくアプローチにより、効率的なサンプリングと最適化が可能になる。
• リーマン商を最小化するとともに、固有関数の直交性を維持する損失関数を導出する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル手法は、教師なし表現学習の文脈で、ディープニューラルネットワークと効果的に統合可能か？
• RQ2 ディープモデルを用いたスペクトル学習において、ミニバッチサンプリングに起因する勾配バイアスはどのように是正できるか？
• RQ3 SINsは、教師なしで動画データから意味のある解釈可能な表現を発見できるか？
• RQ4 SINsは、固有関数分解を用いて強化学習環境における部分的目標を同定できるか？
• RQ5 SINsは、量子力学的系における既知の固有関数をどの程度正確に回復できるか？

主な発見

• SINsは、量子力学的系における線形作用素の固有関数を高精度に回復し、解析的解に対して高い忠実度を示した。
• 合成動画データセットから、解釈可能な時空間的特徴量を効果的に学習し、ゆっくり変化するダイナミクスを捉えた。
• Arcade Learning Environmentでは、SINsがタスク構造と報酬設計に整合する意味のある部分的目標を発見した。
• バッチ補正を用いることで、勾配バイアスを低減し、複数の固有関数のオンライン学習を実現した。
• 動画および強化学習のベンチマークにおいて、SINsはベースライン手法を上回る表現品質と部分的目標発見能力を示した。
• 本手法により、スローフィーチャー分析が共分散行列に限らないより広範な対称作用素のクラスに一般化され、表現学習分野における新たな応用が可能になった。