[論文レビュー] End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture

Jianshu Chen, Ji He+6 more|arXiv (Cornell University)|Aug 14, 2015

Speech Recognition and Synthesis参考文献 22被引用数 8

ひとこと要約

本稿では、深層構造上でミラー降下バックプロパゲーションを用いた、潜在ディリクレ割り当て（LDA）のエンドツーエンドで完全に判別的な学習手法を提案する。これにより、トピック推論とモデルパラメータの共同最適化が可能になる。この手法は、先行研究の教師ありトピックモデルを著しく上回り、現実世界の分類および回帰タスクにおいてディープニューラルネットワークと同等の性能を発揮する。

ABSTRACT

We develop a fully discriminative learning approach for supervised Latent Dirichlet Allocation (LDA) model using Back Propagation (i.e., BP-sLDA), which maximizes the posterior probability of the prediction variable given the input document. Different from traditional variational learning or Gibbs sampling approaches, the proposed learning method applies (i) the mirror descent algorithm for maximum a posterior inference and (ii) back propagation over a deep architecture together with stochastic gradient/mirror descent for model parameter estimation, leading to scalable and end-to-end discriminative learning of the model. As a byproduct, we also apply this technique to develop a new learning method for the traditional unsupervised LDA model (i.e., BP-LDA). Experimental results on three real-world regression and classification tasks show that the proposed methods significantly outperform the previous supervised topic models, neural networks, and is on par with deep neural networks.

研究の動機と目的

• 従来の変分法やギブスポーリング手法の限界を克服し、完全に判別的な学習を可能にする。
• 最大事後確率（MAP）推論の正確な実装をミラー降下で行い、バックプロパゲーションによるモデルパラメータのエンドツーエンド最適化を統合する。
• 文書が与えられたもとでのラベルの事後確率を最大化するスケーラブルで原理的根拠のある手法を開発し、予測精度を向上させる。
• 同じバックプロパゲーション機構を用いて、教師なしLDA（BP-LDA）への拡張を図る。
• 現実世界の回帰および分類タスクにおいて、既存の教師ありトピックモデルおよびディープニューラルネットワークを上回る性能を示す。

提案手法

• 本手法は、特定のディリクレ母数の条件下で凸となるため、最大事後確率（MAP）推論問題を解くためにミラー降下アルゴリズム（MDA）を用いる。
• 損失関数のモデルパラメータに関する勾配を計算するために、MDAに基づく推論モジュールを介してバックプロパゲーションを適用し、エンドツーエンド学習を可能にする。
• 勾配計算は、推論ネットワークを逆向きに再帰的に走査し、随伴法を用いて出力からモデルパラメータへ誤差を伝搬する。
• 分類タスクでは、変換行列Uに関する損失の勾配は $ -\frac{1}{\mathds{1}^{T}p_{L}}(I-\mathds{1}\theta_{L}^{T})\cdot U^{T}\cdot\gamma\cdot(y_{d}-\hat{y}_{d}) $ として導出され、回帰タスクに対しても同様の式が成り立つ。
• 数値的安定性の向上のため、$ p_{\ell} $ および $ \delta_{\ell} $ の代わりに $ \xi_{d,\ell} = \mathds{1}^{T}p_{\ell} \cdot \delta_{\ell} $ を導入し、オーバーフローを防止する。
• 本フレームワークは、教師あり（BP-sLDA）および教師なし（BP-LDA）の両方のLDAに適用され、トピック分布とモデルパラメータの共同最適化が実現される。

実験結果

リサーチクエスチョン

• RQ1 ミラー降下に基づくMAP推論をバックプロパゲーションと統合することで、教師ありLDAのエンドツーエンド学習が可能になるか？
• RQ2 文書が与えられたもとでのラベルの事後確率を最大化する完全な判別的学習は、従来の生成的またはハイブリッド的手法よりも予測性能を向上させるか？
• RQ3 提案手法は、現実世界のNLPタスクにおいてディープニューラルネットワークと同等の性能を達成できるか？
• RQ4 MDAとバックプロパゲーションの統合は、学習の安定性およびスケーラビリティにどのように影響を与えるか？
• RQ5 同じフレームワークを教師なしLDA（BP-LDA）に拡張でき、同等の性能を発揮するか？

主な発見

• 提案されたBP-sLDA手法は、3つの現実世界の回帰および分類タスクにおいて、従来の教師ありトピックモデルを著しく上回る。
• BP-sLDAはディープニューラルネットワークと同等の性能を達成し、エンドツーエンドの判別的学習の有効性を示している。
• トピック推論とモデルパラメータの共同最適化により、従来の2段階学習の非最適なアプローチを回避し、優れた精度を達成している。
• ミラー降下とバックプロパゲーションの統合により、正確なMAP推論と安定した勾配伝搬が可能となり、深層構造でも有効である。
• 変数 $ \xi_{d,\ell} $ を用いた数値的安定性の向上により、大きな $ p_{\ell} $ と小さな $ \delta_{\ell} $ に起因する問題が効果的に緩和され、学習の信頼性が向上した。
• 教師なしLDA（BP-LDA）への拡張により、フレームワークが判別的および生成的両設定に一般化可能で、有効であることが示された。