[論文レビュー] Convolutional dictionary learning based auto-encoders for natural exponential-family distributions

Bahareh Tolooshams, Andrew H. Song+2 more|arXiv (Cornell University)|Jul 6, 2019

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本稿では、二項分布やポアソン分布に従う観測値などの非ガウス分布データ向けに、畑村辞書学習（CDL）とディープラーニングを統合する新しいニューラルネットワークフレームワーク、深層畑村指数型オートエンコーダー（DCEA）を提案する。畑村辞書学習の反復的最適化を制約付きで微分可能なニューラルネットワークに展開することにより、DCEA はスケーラブルな教師なしおよび教師あり学習を可能にし、神経パルスデータやポアソン雑音除去の分野で解釈可能性と性能が向上し、パrameter数を著しく削減した最先端の結果を達成する。

ABSTRACT

We introduce a class of auto-encoder neural networks tailored to data from the natural exponential family (e.g., count data). The architectures are inspired by the problem of learning the filters in a convolutional generative model with sparsity constraints, often referred to as convolutional dictionary learning (CDL). Our work is the first to combine ideas from convolutional generative models and deep learning for data that are naturally modeled with a non-Gaussian distribution (e.g., binomial and Poisson). This perspective provides us with a scalable and flexible framework that can be re-purposed for a wide range of tasks and assumptions on the generative model. Specifically, the iterative optimization procedure for solving CDL, an unsupervised task, is mapped to an unfolded and constrained neural network, with iterative adjustments to the inputs to account for the generative distribution. We also show that the framework can easily be extended for discriminative training, appropriate for a supervised task. We demonstrate 1) that fitting the generative model to learn, in an unsupervised fashion, the latent stimulus that underlies neural spiking data leads to better goodness-of-fit compared to other baselines, 2) competitive performance compared to state-of-the-art algorithms for supervised Poisson image denoising, with significantly fewer parameters, and 3) gradient dynamics of shallow binomial auto-encoder.

研究の動機と目的

• カウントやバイナリ観測値などの非ガウス分布データ向けに、スケーラブルで解釈可能なディープラーニングモデルが不足しているという問題に対処すること。
• 自然指数型分布族（ポアソン分布や二項分布を含む）からのデータに対して、畑村辞書学習（CDL）とディープニューラルネットワークを統合すること。
• 1つの生成的フレームワーク内で教師なしおよび教師あり学習を可能にし、学習されたフィルタの解釈可能性を保持すること。
• 既存のベースラインと比較して、神経パルスデータにおける適合度の向上と、ポアソン画像ノイズ除去における競争力のある性能を示すこと。

提案手法

• 畑村辞書学習の反復的最適化を、各層がアルゴリズムの1反復に対応する制約付きで微分可能なニューラルネットワークアーキテクチャに展開する。
• 自然指数型分布族（例えばポアソン分布や二項分布）の対数尤度に基づく、分布に特化した微分可能な損失関数を用いて学習をガイドする。
• 教師なし学習では、生成モデルにおける観測データの負の対数尤度を最小化し、潜在コードにスパarsity制約を課す。
• 教師あり学習では、ノイズありとクリアな画像ペアを用いて学習することで、画像ノイズ除去に適応し、同じ生成損失関数を用いる。
• 神経パルスデータにおける履歴依存性を扱うために、生成モデルにスパイク履歴項を拡張し、交互最小化により推定する。
• 浅い二項オートエンコーダーの勾配降下法による学習を理論的に分析し、特定の条件下で真の辞書に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 畑村辞書学習の原則を用いて、二項分布やポアソン分布に従う非ガウス分布データをモデル化できる深層オートエンコーダーのアーキテクチャを設計できるか？
• RQ2 提案された DCEA フレームワークは、既存の教師なしベースラインと比較して、神経パルスデータにおける適合度を向上させることができるか？
• RQ3 DCEA モデルは、最先端のディープラーニングモデルと比較して、著しく少ないパラメータ数でポアソン画像ノイズ除去で競争力のある性能を達成できるか？
• RQ4 浅い二項オートエンコーダーの勾配ダイナミクスはどのようなものか？また、どのような条件下で真の辞書を回復できるか？

主な発見

• DCEA は、ベースラインモデルと比較して、実際の神経パルスデータにおいて優れた適合度を達成し、潜在的スティミュラスパターンのモデリングが向上していることを示した。
• ポアソン画像ノイズ除去において、DCEA は最先端の教師ありモデルと同等の性能を達成しながら、パラメータ数を桁違いに削減した。
• 自然指数型分布族の対数尤度を損失関数に組み込むことで、畑村辞書学習が非ガウス分布データへと成功裏に拡張された。
• 理論的分析により、良好な初期化と稠密な辞書の仮定のもとで、浅い二項オートエンコーダーにおける勾配降下法が真の辞書を回復することが示された。
• 生成モデルにスパイク履歴を組み込むことで、神経データへの適合度が向上し、交互最小化により最適化が安定に維持された。