[論文レビュー] Causal Inference Q-Network: Toward Resilient Reinforcement Learning

Chao-Han Huck Yang, I-Te Danny Hung+2 more|arXiv (Cornell University)|Feb 18, 2021

Adversarial Robustness in Machine Learning参考文献 73被引用数 8

ひとこと要約

本論文では、観測干渉（ブラックアウト、凍結画面、敵対的ノイズなど）に対して耐性を持つ強化学習フレームワーク「因果推論Qネットワーク（CIQ）」を提案する。観測と行動の間の因果関係をモデル化することで、人工的な干渉を補助ラベルとして用いて訓練することで、ベンチマーク環境において標準的なDRL手法よりも優れた耐性を示す。

ABSTRACT

Deep reinforcement learning (DRL) has demonstrated impressive performance in various gaming simulators and real-world applications. In practice, however, a DRL agent may receive faulty observation by abrupt interferences such as black-out, frozen-screen, and adversarial perturbation. How to design a resilient DRL algorithm against these rare but mission-critical and safety-crucial scenarios is an important yet challenging task. In this paper, we consider a generative DRL framework training with an auxiliary task of observational interferences such as artificial noises. Under this framework, we discuss the importance of the causal relation and propose a causal inference based DRL algorithm called causal inference Q-network (CIQ). We evaluate the performance of CIQ in several benchmark DRL environments with different types of interferences as auxiliary labels. Our experimental results show that the proposed CIQ method could achieve higher performance and more resilience against observational interferences.

研究の動機と目的

• 稀だが安全に深刻な影響を及ぼす観測干渉に耐性を持つ深層強化学習（DRL）エージェントを設計する課題に対処すること。
• 訓練中に人工的な干渉が発生する状況において、因果推論がDRLエージェントの耐性をどのように向上させるかを調査すること。
• 観測干渉を補助学習信号として活用するフレームワークを開発し、一般化性能と耐性を向上させること。
• さまざまな干渉タイプに対して、因果モデル化がベンチマーク環境におけるDRL性能をどのように向上させるかを評価すること。

提案手法

• 本手法は、人工的なノイズなどの観測干渉を補助学習信号として明示的に組み込む生成的DRLフレームワークを導入する。
• 観測状態と行動の間の因果関係をモデル化する学習目的を定式化し、誤った相関関係と真の因果効果を区別する。
• CIQネットワークアーキテクチャは、因果推論メカニズムを統合し、干渉の影響を本物の環境ダイナミクスから分離する。
• 標準的なDRL損失と、干渉に対する耐性を促進する因果正則化項の組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• 反事後的推論を活用して、異なる干渉状況下で行動がどのように選択されたかをシミュレートし、一般化性能を向上させる。
• 訓練中に干渉タイプを補助ラベルとして使用し、標準的なDRL環境に干渉を注入してフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 観測と行動の間の因果関係をモデル化することで、観測干渉下でのDRLにおける耐性はどのように向上するか？
• RQ2 人工的な干渉を補助ラベルとして効果的に用いることで、DRLエージェントの耐性は向上するか？
• RQ3 ブラックアウト、凍結画面、敵対的摂動が発生する環境において、CIQフレームワークは標準的なDRLエージェントをどの程度上回るか？
• RQ4 因果推論の統合により、干渉によって生じる誤った相関関係への感受性はどのように低減されるか？
• RQ5 異なる干渉タイプがCIQエージェントの性能および一般化能力に与える影響は何か？

主な発見

• CIQ手法は、さまざまな干渉条件下で複数のベンチマーク環境において、ベースラインDRLアルゴリズムを上回る高い性能を達成した。
• ブラックアウトや凍結画面などの観測干渉に対して、モデルは改善された耐性を示し、安定したポリシー性能を維持した。
• 敵対的摂動が発生する環境では、CIQは標準的なDRLエージェントよりも高い耐性を示し、因果効果の有効な分離が行われた。
• 干渉タイプを補助ラベルとして使用することで、干渉によって引き起こされる分布シフトに対しても、エージェントの一般化能力が顕著に向上した。
• 因果推論の統合により、学習曲線がより安定し、極端な干渉状況下でも性能低下が軽減された。