[論文レビュー] Distributional Reinforcement Learning for Energy-Based Sequential Models

Tetiana Parshakova, Jean‐Marc Andreoli+1 more|arXiv (Cornell University)|Dec 18, 2019

Evolutionary Algorithms and Applications参考文献 25被引用数 6

ひとこと要約

本稿では、逐次生成タスクにおける非正規化エネルギーベースモデル（EBM）から自己回帰的モデルを学習するため、分布的強化学習アプローチ、Distributional Policy Gradient（DPG）を提案する。標準的な蒸留手法が適用できない状況、特にEBMからのサンプリングが非現実的である場合でも、DPGは性能が同等であり、合成逐次データ上でのパープレキシティとモチーフ頻度の一致性において優れた結果を示している。

ABSTRACT

Global Autoregressive Models (GAMs) are a recent proposal [Parshakova et al., CoNLL 2019] for exploiting global properties of sequences for data-efficient learning of seq2seq models. In the first phase of training, an Energy-Based model (EBM) over sequences is derived. This EBM has high representational power, but is unnormalized and cannot be directly exploited for sampling. To address this issue [Parshakova et al., CoNLL 2019] proposes a distillation technique, which can only be applied under limited conditions. By relating this problem to Policy Gradient techniques in RL, but in a \emph{distributional} rather than \emph{optimization} perspective, we propose a general approach applicable to any sequential EBM. Its effectiveness is illustrated on GAM-based experiments.

研究の動機と目的

• 標準的な蒸留手法が、サンプリングの制限により適用不可能な状況において、非正規化エネルギーベースモデル（EBM）を、使用可能な自己回帰的方策に効果的に蒸留する課題に対処すること。
• 強化学習の原則に基づき、特に最適化に焦点を当てたのではなく、分布的アプローチに立脚した、EBMから分布的方策を学ぶ一般化されたフレームワークを確立すること。
• EBMにエンコードされたグローバルなシーケンス制約を活用することで、逐次生成タスクにおけるサンプル効率とモデル性能を向上させること。
• 真の分布が分かっている合成データ上で本手法を検証し、モデルの忠実度と一般化性能を制御された評価が可能になるようにすること。

提案手法

• 非正規化EBMポテンシャルから自己回帰的方策を学習するための、ポリシー勾配の分布的変種であるDistributional Policy Gradient（DPG）を提案する。
• GAMsの自己回帰的モデル $ r $ を提案分布 $ q $ として用いることで、効率的かつ安定した方策更新を可能にする。
• 方策学習中の探索と活用のバランスをとるために、温度スケジューリングを用いたサンプリング戦略を適用する。
• EBMポテンシャル下での期待リターンに基づく損失関数を採用し、分布的設定下でポリシー勾配定理を用いて勾配を計算する。
• 2段階の訓練手順を導入：まずEBMを学習する（Training-1）、次にDPGを用いて最終的な自己回帰的方策を導出する（Training-2）。
• 計算的扱いやすさを保ちながら表現力を高めるために、EBM部に対数線形形式を採用する。

実験結果

リサーチクエスチョン

• RQ1 分布的強化学習アプローチは、非正規化エネルギーベースモデルから自己回帰的モデルを学習する際、標準的な蒸着技術を上回るか、それらを一般化できるか？
• RQ2 標準的な自己回帰的モデルが苦戦する低データ環境下で、提案されたDPG手法はどのように性能を示すか？
• RQ3 EBMに埋め込まれたグローバルなシーケンスパターン（例：モチーフ頻度）を、初期の自己回帰的モデルが捉えていなくても、DPG手法はどの程度回復できるか？
• RQ4 EBMからのサンプリングが非現実的である状況において、DPG手法は、先行する蒸着ベース手法の主要な制限を克服できるか？

主な発見

• 小データ環境（$|D| < 10^4$）において、DPGで学習された方策は初期の自己回帰的モデル $ r $ より顕著に低いテスト交差エントロピーを達成し、$|D| = 20000$ 時に $ ext{CE}(T, heta^{dpg}) / ext{CE}(T, r) = 1.006 $ の平均比を示し、性能向上が顕著である。
• DPGは交差エントロピーの観点で、蒸着手法と同等の性能を達成しており、$|D| = 20000$ 時に $ ext{CE}(T, heta^{dpg}) / ext{CE}(T, heta^{dis}) = 1.006 $ であり、モデル品質に差がないことを示している。
• DPGはモチーフ頻度マッチングの観点でも蒸着手法を上回り、$|D| = 20000$ 時に $ ext{mtf}_{ ext{frq}}( heta^{dpg}) / ext{mtf}_{ ext{frq}}( heta^{dis}) = 1.002 $ の比を示しており、グローバルなシーケンス構造の捉え具合が優れている。
• $|D| = 5000$ 時に、DPG方策は初期の $ r $ より交差エントロピーを13.5%低減し、$ ext{CE}(T, heta^{dpg}) / ext{CE}(T, r) = 0.865 $ の比を示しており、優れたデータ効率性を示している。
• さまざまなモチーフやシードに対して安定した性能を維持し、パープレキシティとモチーフ頻度回復両方で一貫した改善が見られ、ロバストネスが確認された。