[论文解读] Data Generation as Sequential Decision Making

Philip Bachman, Doina Precup|arXiv (Cornell University)|Jun 10, 2015

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 42

一句话总结

该论文将数据生成与填补问题重新构架为基于强化学习的序列决策过程，提出一种基于策略的新型方法，通过引导式策略搜索进行训练。结果表明，利用神经网络进行迭代式、反馈驱动的优化可显著提升在多种数据集和缺失模式下的填补性能，优于VAE填补和模板匹配等基线方法。

ABSTRACT

We connect a broad class of generative models through their shared reliance on sequential decision making. Motivated by this view, we develop extensions to an existing model, and then explore the idea further in the context of data imputation -- perhaps the simplest setting in which to investigate the relation between unconditional and conditional generative modelling. We formulate data imputation as an MDP and develop models capable of representing effective policies for it. We construct the models using neural networks and train them using a form of guided policy search. Our models generate predictions through an iterative process of feedback and refinement. We show that this approach can learn effective policies for imputation problems of varying difficulty and across multiple datasets.

研究动机与目标

• 通过将数据生成解释为一系列随机决策，统一有向生成模型与强化学习。
• 通过将LSTM-based生成模型重新诠释为序列决策与策略学习的视角，改进现有模型。
• 将数据填补形式化为有限时域马尔可夫决策过程（MDP），并利用引导式策略搜索训练有效策略。
• 在多种数据集和缺失机制（MCAR、MAR）下，评估迭代式、反馈驱动预测优化的有效性。

提出的方法

• 将数据填补形式化为有限时域MDP，其中智能体基于输入和反馈迭代优化缺失值。
• 提出两种策略表示：一种在LSTM模型中引入显式反馈回路（LSTM-add，LSTM-jump），另一种直接建模MDP（GPSI-add，GPSI-jump）。
• 使用广义引导式策略搜索（GPS）框架训练策略，以最小化轨迹成本并保持与引导策略的一致性。
• 使用神经网络参数化策略，并采用变分下界估计对数似然以供评估。
• 引入反馈机制，通过外部输入和内部误差信号逐步优化预测结果。
• 采用多步优化过程，每一步均基于当前状态和先前步骤的反馈更新工作假设。

实验结果

研究问题

• RQ1 能否通过强化学习引导的序列决策过程有意义地重新诠释数据生成？
• RQ2 在自回归模型中引入反馈回路，相比标准自回归生成，能否显著提升数据填补性能？
• RQ3 引导式策略搜索在多种数据集和缺失机制下，能否有效训练用于复杂填补任务的深度神经策略？
• RQ4 在所提出的迭代框架中，优化步数对填补数据质量的影响程度如何？
• RQ5 所提出的基于策略的填补方法与VAE填补和模板匹配等成熟基线方法相比表现如何？

主要发现

• 所提出的GPSI和基于LSTM的模型在所有数据集和缺失模式下，显著优于VAE填补、诚实模板匹配和全知模板匹配。
• 在MNIST数据集MAR-16设置下，GPSI-jump模型得分177，优于LSTM-add模型（177）和VAE-imp（374），得分越低表示性能越好。
• 在TFD数据集MAR-25设置下，GPSI-jump模型得分为1384，优于VAE-imp的1399，表明在填补精度上具有持续优势。
• 在SVHN数据集MAR-17设置下，GPSI-jump模型得分为572，优于VAE-imp的624，表明在不同数据模态下均具备鲁棒性能。
• 增加优化步数可提升性能，尤其对加法更新策略（GPSI-add）更为显著，表明迭代优化能有效提升预测质量。
• 基于LSTM的模型（LSTM-add，LSTM-jump）通常优于更直接的GPSI模型，表明循环记忆结构在捕捉优化过程中长程依赖关系方面更具优势。