[論文レビュー] Deep State Space Models for Unconditional Word Generation

Florian Schmidt, Thomas Hofmann|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling被引用数 6

ひとこと要約

本論文は、状態遷移におけるノイズによるグローバルな不確実性と、トークン発生における不確実性を分離することで、教師強制を用いずに無条件語生成を実現する非自己回帰的ディープステートスぺースモデルを提案する。正規化フローを用いた変分推論により、教師強制なしで自己回帰RNNと同等の性能を達成し、確率的要素が明確に分離され、重要度加重変分推論により効果的に学習可能であることを示した。

ABSTRACT

Autoregressive feedback is considered a necessity for successful unconditional text generation using stochastic sequence models. However, such feedback is known to introduce systematic biases into the training process and it obscures a principle of generation: committing to global information and forgetting local nuances. We show that a non-autoregressive deep state space model with a clear separation of global and local uncertainty can be built from only two ingredients: An independent noise source and a deterministic transition function. Recent advances on flow-based variational inference can be used to train an evidence lower-bound without resorting to annealing, auxiliary losses or similar measures. The result is a highly interpretable generative model on par with comparable auto-regressive models on the task of word generation.

研究の動機と目的

• 訓練中に教師強制が引き起こす体系的バイアスを是正すること。
• グローバル不確実性とローカル不確実性を明確に分離することで、効果的な無条件テキスト生成が可能かどうかを調査すること。
• 補助損失、スケーリングの緩和、事前学習を回避する高解釈性の生成モデルを開発すること。
• 状態遷移におけるノイズと発生不確実性を分離することで、系列モデリングにおける確率的要素の役割を評価すること。

提案手法

• i.i.d. ガウスノイズ ξt を駆動とする決定的遷移関数 F(ht, ξt) = ht+1 を有するディープステートスぺースモデルを提案する。
• 確率的要素の分離：状態進化におけるノイズ ξt によるグローバル不確実性、トークン発生における P(wt|ht) によるローカル不確実性。
• 真の事後分布を近似するため、構造的推論モデル q(ht|ht−1, wt:T) を用いた変分推論を採用する。
• 生成モデルおよび推論モデルの両方の複雑で扱いやすい遷移分布をモデル化するために、正規化フロー（TRI, REAL-NVP）を用いる。
• 学習安定性と性能向上のため、重要度加重変分推論（IWVI）を K=10 サンプルで適用する。
• 再構成と事後分布の乖離のバランスを取るために、エビデンス下限界（ELBO）を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 グローバル不確実性とローカル不確実性を明確に分離した非自己回帰的ステートスぺースモデルは、教師強制なしで高品質なテキストを生成できるか？
• RQ2 このようなモデルの性能は、無条件語生成において標準的な自己回帰的RNNと比べてどうか？
• RQ3 系列複雑性のモデリングにおいて、状態遷移における確率的要素と発生不確実性の役割は何か？
• RQ4 正規化フローは、補助損失やスケーリングなしに、ディープステートスぺースモデルの効果的学習を可能にするか？
• RQ5 訓練中に、潜在状態と観測値間の相互情報量はどのように変化するか？

主な発見

• 提案モデルは語の屈曲形態タスクでテスト交差エントロピー11.28を達成し、ベースラインRNN（12.97）を上回り、オラクル（7.03）に近づいた。
• K=10 の重要度加重を用いることで著しい性能向上が得られ、K=10 を超えると効果の逓減が見られ、分散低減が効果的であることが示された。
• 2×TRILフローを用いたK=10の設定が最良の性能（H[Ptest, ˆP] = 11.28）を達成し、強力な生成フローが不可欠であることを示した。
• 相互情報量 I(t) は初期の系列でピークに達し、時間経過とともに減少した。初期トークンがより多くの潜在情報を保持していることを確認した。
• 2×TRILフローとK=10を用いたモデルは平均1.28の相互情報量を達成し、潜在状態における情報保持が効果的であることを示した。
• 推論モデルの性能が双方向バージョンと一致したため、d-分離仮定が妥当であり、状態記憶の十分性が裏付けられた。