[論文レビュー] Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing

Hao Fu, Chunyuan Li+4 more|arXiv (Cornell University)|Mar 25, 2019

Algorithms and Data Compression参考文献 36被引用数 168

ひとこと要約

テキスト VAEs の KL 項の循環的アニーリングを導入し、パス A を複数回再オープンして意味のある潜在コードを段階的に学習させ、KL 消失をほとんど追加コストなしで抑制します。

ABSTRACT

Variational autoencoders (VAEs) with an auto-regressive decoder have been applied for many natural language processing (NLP) tasks. The VAE objective consists of two terms, (i) reconstruction and (ii) KL regularization, balanced by a weighting hyper-parameter β. One notorious training difficulty is that the KL term tends to vanish. In this paper we study scheduling schemes for β, and show that KL vanishing is caused by the lack of good latent codes in training the decoder at the beginning of optimization. To remedy this, we propose a cyclical annealing schedule, which repeats the process of increasing βmultiple times. This new procedure allows the progressive learning of more meaningful latent codes, by leveraging the informative representations of previous cycles as warm re-starts. The effectiveness of cyclical annealing is validated on a broad range of NLP tasks, including language modeling, dialog response generation and unsupervised language pre-training.

研究の動機と目的

• 自己回帰デコーダを備えた VAE における KL 消失とその原因を説明する。
• 低コストで効果的なトレーニングスケジュールとして循環的アニーリングを提案する。
• 言語モデリング、対話生成、そして自己教師付き事前学習にわたりアプローチを実証する。

提案手法

• テキスト用の自己回帰デコーダを備えた VAE と z 経由の Path A と x_{<t} 経由の Path B の二つの潜在学習経路をモデル化する。
• 循環的アニーリングを提案する：β が 0 から 1 へと上昇する複数のサイクルを設け、サイクル終了時にリセット、前のサイクルからの温再起動を利用する。
• β_t をサイクルベースのスケジューリングで形式化する：β_t は f(tau) に従い、そのサイクルの残り時間には 1 を設定する；M サイクルと R の比率を導入してアニーリングを定義する。
• β の影響を下界解析を介して理論的に洞察し、β、相互情報 I(z;n)、および KL 項との関連を示す。
• 定常的スケジュールと単調増加スケジュールとを比較し、循環スケジューリングがより高い KL およびより豊かな潜在表現を促進することを示す。
• 言語モデリング（PTB）、対話応答生成（Switchboard）、非教師付き言語事前学習（Yelp）での妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 テキスト用の自己回帰デコーダを持つ VAE における KL 消失の原因は何か？
• RQ2 循環的 β スケジュールは追加計算コストなしで潜在コード学習とデコーダ利用を改善できるか？
• RQ3 言語モデリング、対話生成、非教師付き事前学習などの NLP タスクで循環的アニーリングは定常的・単調スケジュールとどう異なるか？
• RQ4 循環的スケジューリングを通じて Path A を再オープンすることで、より構造化された潜在空間とより良い下流性能を得られるか？

主な発見

• 循環的アニーリングは実験でモノトニックスケジュールに比べて再構成誤差を低く、訓練中の KL を高くする。
• サイクルを重ねるごとに性能が向上する傾向があり、以前の潜在表現からの温起動の利点を示す。
• 対話生成では循環スケジューリングが KL と BLEU スコアを増加させ、モノトニックスケジューリングより多様な応答を生み出す。
• 非教師付き事前学習では循環スケジューリングが下流の精度を高め、潜在クラスタリングがより明確になる（t-SNE で視覚化）。
• 標準的な VAE 訓練と比較した際、追加計算コストは微小で済み、性能改善を達成する。
• アブレーションでは利得は主に循環 β スケジューリングから生じ、学習率のサイクリングによるものではない。