[论文解读] Adversarial Counterfactual Environment Model Learning

Xionghui Chen, Yang Yu+9 more|arXiv (Cornell University)|Jun 10, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出对抗加权经验风险最小化（AWRM），一种新颖方法，通过对抗性生成反事实数据以缓解选择偏差，从而在离线强化学习中学习准确的环境动态模型。实用算法GALILEO提升了反事实预测、离线策略评估与在线决策能力，在合成与真实世界任务中显著降低分布外动作查询的误差，优于监督学习与现有基线方法。

ABSTRACT

A good model for action-effect prediction, named environment model, is important to achieve sample-efficient decision-making policy learning in many domains like robot control, recommender systems, and patients' treatment selection. We can take unlimited trials with such a model to identify the appropriate actions so that the costs of queries in the real world can be saved. It requires the model to handle unseen data correctly, also called counterfactual data. However, standard data fitting techniques do not automatically achieve such generalization ability and commonly result in unreliable models. In this work, we introduce counterfactual-query risk minimization (CQRM) in model learning for generalizing to a counterfactual dataset queried by a specific target policy. Since the target policies can be various and unknown in policy learning, we propose an adversarial CQRM objective in which the model learns on counterfactual data queried by adversarial policies, and finally derive a tractable solution GALILEO. We also discover that adversarial CQRM is closely related to the adversarial model learning, explaining the effectiveness of the latter. We apply GALILEO in synthetic tasks and a real-world application. The results show that GALILEO makes accurate predictions on counterfactual data and thus significantly improves policies in real-world testing.

研究动机与目标

• 解决行为策略数据收集过程中因选择偏差导致的反事实动作预测灾难性失败问题。
• 通过在对抗性数据分布下学习，提升环境动态模型在i.i.d.假设之外的泛化能力。
• 开发一种实用算法，通过准确建模未见数据上的动作影响，提升离线策略评估与改进性能。
• 消除由有偏行为策略引发的状态、动作与下一状态之间的虚假关联。
• 在标准监督学习在分布偏移下失效的序列决策设置中，实现忠实的动态建模。

提出的方法

• 提出AWRM，一种学习目标，通过引入对抗性策略生成削弱模型准确性的数据分布，强制模型具备鲁棒性。
• 使用生成网络通过反转行为策略的动作选择来模拟反事实数据，创建具有挑战性的测试案例。
• 实现GALILEO，一种实用算法，利用当前模型与训练数据近似最优的对抗性反事实数据分布。
• 采用对抗性训练，使模型在利用其弱点的策略生成的数据上最小化误差。
• 采用两阶段训练流程：首先在离线数据上训练动态模型；其次使用对抗生成的反事实转移进行优化。
• 将逆倾向加权与基于GAN的数据增强作为消融与评估中的基线方法。

实验结果

研究问题

• RQ1 标准监督学习是否因行为策略中的选择偏差而在反事实预测中出现灾难性失败？
• RQ2 对抗性数据分布偏移是否能提升环境动态模型在分布外动作查询上的鲁棒性？
• RQ3 GALILEO能否实现与使用每轮最坏情况反事实数据的Oracle AWRM方法相当的性能？
• RQ4 AWRM与IPW、SCIGAN及监督学习等现有方法相比，在离线策略评估与改进中表现如何？
• RQ5 GALILEO是否通过实现更准确的反事实推理，提升了在线决策性能？

主要发现

• 在高选择偏差的合成任务中，GALILEO相较监督学习将反事实预测误差降低高达50%。
• 在GNFC基准上，GALILEO在所有任务中均达到最低MMSE，平均误差为3.86 ± 0.03（e1_p1），显著优于SL（5.73 ± 0.33）。
• 在TCGA基准中，GALILEO保持低误差（如t0_bias_2.0任务中为1.56 ± 0.04），而SL的误差显著上升（如1.92 ± 0.67）。
• GALILEO的响应曲线与真实值高度吻合，正确体现了因果关系（y_{t+1} ∝ y_t + a_t），而SL则学习到虚假关联（如y_{t+1} ∝ φ - 14a_t）。
• 在连续控制任务中，GALILEO提升了离线策略评估与改进性能，展现出对动作分布分布偏移的鲁棒性。
• 该方法性能接近AWRM-oracle基线，表明其有效近似了最优对抗性数据分布。