[論文レビュー] Data Generation as Sequential Decision Making

Philip Bachman, Doina Precup|arXiv (Cornell University)|Jun 10, 2015

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 42

ひとこと要約

本稿では、強化学習を用いてデータ生成と補完を段階的意思決定プロセスとして定式化し、ガイドドポリシーサーチを用いて訓練される新しいポリシーに基づくアプローチを提案する。反復的でフィードバック駆動の改善をニューラルネットワークを用いて行うことで、多様なデータセットおよび欠損パターンにおいて、VAE補完やテンプレートマッチングといったベースラインを上回る補完性能が実証された。

ABSTRACT

We connect a broad class of generative models through their shared reliance on sequential decision making. Motivated by this view, we develop extensions to an existing model, and then explore the idea further in the context of data imputation -- perhaps the simplest setting in which to investigate the relation between unconditional and conditional generative modelling. We formulate data imputation as an MDP and develop models capable of representing effective policies for it. We construct the models using neural networks and train them using a form of guided policy search. Our models generate predictions through an iterative process of feedback and refinement. We show that this approach can learn effective policies for imputation problems of varying difficulty and across multiple datasets.

研究の動機と目的

• データ生成をステップワイズな確率的意思決定の連鎖として解釈することで、指向的生成モデルと強化学習を統合すること。
• 段階的意思決定とポリシー学習の視点から再解釈することで、既存のLSTMベースの生成モデルの性能を向上させること。
• データ補完を有限時 horizon のマルコフ意思決定過程（MDP）として定式化し、ガイドドポリシーサーチを用いて効果的なポリシーを訓練すること。
• MCAR、MAR などの異なる欠損メカニズムにおける、反復的でフィードバック駆動の予測改善の有効性を複数のデータセットで評価すること。

提案手法

• エージェントが入力とフィードバックに基づいて欠損値を段階的に改善する有限時 horizon のMDPとしてデータ補完を定式化する。
• 2つのポリシー表現を提案：1つはLSTMモデルに明示的なフィードバックループを追加した（LSTM-add、LSTM-jump）、もう1つはMDPを直接モデル化した（GPSI-add、GPSI-jump）。
• 軌道コストを最小化するとともにガイドポリシーに一致させるように、一般化されたガイドドポリシーサーチ（GPS）フレームワークを用いてポリシーを訓練する。
• ポリシーをパラメータ化するためにニューラルネットワークを用い、評価のための対数尤度推定に変分下界を用いる。
• 予測を段階的に、外部入力と内部の誤差信号の両方を用いて改善するフィードバック機構を導入する。
• 各ステップで現在の状態と直前のステップからのフィードバックに基づいて、作業仮説を更新する多段階の改善プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習によってガイドされた段階的意思決定プロセスとして、データ生成を意味的に再解釈できるか？
• RQ2 自己回帰モデルにフィードバックループを組み込むことで、標準的な自己回帰生成と比較して、データ補完性能がどのように向上するか？
• RQ3 ガイドドポリシーサーチは、多様なデータセットおよび欠損メカニズムにおいて、複雑な補完タスクのための深層ニューラルポリシーを効果的に訓練できるか？
• RQ4 提案された反復的フレームワークにおいて、改善ステップ数が補完データの品質にどのように影響するか？
• RQ5 提案されたポリシーに基づく補完アプローチは、VAE補完やテンプレートマッチングといった既存のベースラインと比較して、どのように差をつけるか？

主な発見

• 提案されたGPSIおよびLSTMベースのモデルは、すべてのデータセットおよび欠損パターンにおいて、VAE補完、誠実なテンプレートマッチング、および神託的テンプレートマッチングを著しく上回った。
• MAR-16のMNISTでは、GPSI-jumpモデルが177のスコアを達成し、LSTM-addモデル（177）とVAE-imp（374）を上回った。スコアが低いほど性能が優れている。
• MAR-25のTFDでは、GPSI-jumpモデルが1384を記録し、VAE-impの1399を上回り、補完精度の一貫した優位性を示した。
• MAR-17のSVHNでは、GPSI-jumpモデルが572を達成し、VAE-impの624を上回り、異なるデータモダリティにおいても強固な性能を示した。
• 改善ステップ数を増やすことで性能が向上したが、特に加法的更新戦略（GPSI-add）において顕著で、反復的改善が予測品質を向上させることを示した。
• LSTMベースのモデル（LSTM-add、LSTM-jump）は、より直接的なGPSIモデルよりも一般的に優れており、再帰的記憶構造が改善プロセスにおける長距離依存性をより効果的に捉えられることを示唆している。