[论文解读] Causal Inference Q-Network: Toward Resilient Reinforcement Learning

Chao-Han Huck Yang, I-Te Danny Hung+2 more|arXiv (Cornell University)|Feb 18, 2021

Adversarial Robustness in Machine Learning参考文献 73被引用 8

一句话总结

本文提出因果推断Q网络（CIQ），一种增强型强化学习框架，通过建模观测与动作之间的因果关系，提升对黑屏、屏幕冻结及对抗性噪声等观测干扰的鲁棒性。通过将人工干扰作为辅助标签进行训练，CIQ在基准环境中的鲁棒性与性能均得到提升，相较于标准深度强化学习（DRL）方法展现出更优的抗干扰能力。

ABSTRACT

Deep reinforcement learning (DRL) has demonstrated impressive performance in various gaming simulators and real-world applications. In practice, however, a DRL agent may receive faulty observation by abrupt interferences such as black-out, frozen-screen, and adversarial perturbation. How to design a resilient DRL algorithm against these rare but mission-critical and safety-crucial scenarios is an important yet challenging task. In this paper, we consider a generative DRL framework training with an auxiliary task of observational interferences such as artificial noises. Under this framework, we discuss the importance of the causal relation and propose a causal inference based DRL algorithm called causal inference Q-network (CIQ). We evaluate the performance of CIQ in several benchmark DRL environments with different types of interferences as auxiliary labels. Our experimental results show that the proposed CIQ method could achieve higher performance and more resilience against observational interferences.

研究动机与目标

• 为解决设计能够抵御罕见但关键安全干扰的鲁棒深度强化学习（DRL）智能体的挑战。
• 探究因果推断如何在训练期间引入人工干扰的情况下提升DRL智能体的鲁棒性。
• 开发一种利用观测干扰作为辅助训练信号以增强泛化能力与鲁棒性的框架。
• 评估因果建模在基准环境中应对多种干扰类型时对提升DRL性能的有效性。

提出的方法

• 该方法提出一种生成式DRL框架，明确将人工噪声等观测干扰作为辅助训练信号引入。
• 其学习目标被设计为建模观测状态与动作之间的因果关系，以区分虚假相关性与真实因果效应。
• CIQ网络架构集成了因果推断机制，以解耦干扰影响与真实环境动态的影响。
• 模型通过标准DRL损失与因果正则化项的组合进行端到端训练，以增强对干扰的鲁棒性。
• 利用反事实推理模拟在不同干扰条件下动作本应如何被选择，从而提升泛化能力。
• 该框架在标准DRL环境中注入干扰类型进行评估，训练期间将干扰类型作为辅助标签使用。

实验结果

研究问题

• RQ1 建模观测与动作之间的因果关系在观测干扰下如何提升DRL的鲁棒性？
• RQ2 人工干扰能否被有效用作辅助标签以增强DRL智能体的鲁棒性？
• RQ3 CIQ框架在存在黑屏、屏幕冻结及对抗性扰动的环境中，相较于标准DRL智能体的性能提升程度如何？
• RQ4 因果推断的整合如何降低因干扰导致的虚假相关性敏感性？
• RQ5 不同干扰类型对CIQ智能体性能与泛化能力的影响如何？

主要发现

• 在多种基准环境与不同干扰条件下，CIQ方法在性能上均优于基线DRL算法。
• 该模型在黑屏与屏幕冻结等观测干扰下表现出更强的鲁棒性，维持了稳定的策略性能。
• 在存在对抗性扰动的环境中，CIQ相较于标准DRL智能体展现出更高的鲁棒性，表明其有效解耦了因果效应。
• 将干扰类型作为辅助标签显著增强了智能体在干扰引发分布偏移情况下的泛化能力。
• 因果推断的整合带来了更稳定的训练曲线，并在极端干扰场景下显著减少了性能下降。