[논문 리뷰] Causal Inference Q-Network: Toward Resilient Reinforcement Learning

Chao-Han Huck Yang, I-Te Danny Hung외 2명|arXiv (Cornell University)|2021. 02. 18.

Adversarial Robustness in Machine Learning참고 문헌 73인용 수 8

한 줄 요약

이 논문은 관찰 간섭(예: 정전, 고장 난 화면, 악성 노이즈 등)에 강건한 반응을 보일 수 있도록 관찰과 행동 간의 인과관계를 모델링함으로써 성능을 향상시키는 강화학습 프레임워크인 인과추론 Q-네트워크(CIQ)를 제안한다. 인위적 간섭을 보조 레이블로 사용하여 훈련시킴으로써 CIQ는 벤치마크 환경에서 표준 DRL 방법에 비해 뛰어난 강건성과 성능을 보이며, 다양한 간섭 상황에서도 뛰어난 내성적 저항성을 입증한다.

ABSTRACT

Deep reinforcement learning (DRL) has demonstrated impressive performance in various gaming simulators and real-world applications. In practice, however, a DRL agent may receive faulty observation by abrupt interferences such as black-out, frozen-screen, and adversarial perturbation. How to design a resilient DRL algorithm against these rare but mission-critical and safety-crucial scenarios is an important yet challenging task. In this paper, we consider a generative DRL framework training with an auxiliary task of observational interferences such as artificial noises. Under this framework, we discuss the importance of the causal relation and propose a causal inference based DRL algorithm called causal inference Q-network (CIQ). We evaluate the performance of CIQ in several benchmark DRL environments with different types of interferences as auxiliary labels. Our experimental results show that the proposed CIQ method could achieve higher performance and more resilience against observational interferences.

연구 동기 및 목표

• 희귀하지만 안전에 치명적인 관찰 간섭에 견디는 능력을 갖춘 강력한 딥 강화학습(DRL) 에이전트를 설계하는 데 도전하는 것.
• 훈련 중 인위적 간섭이 존재할 때 인과추론이 DRL 에이전트의 강건성 향상에 어떻게 기여할 수 있는지 조사하는 것.
• 관찰 간섭을 보조 훈련 신호로 활용하여 일반화 능력과 강건성을 향상시키는 프레임워크를 개발하는 것.
• 다양한 간섭 유형이 있는 벤치마크 환경에서 인과모델링이 DRL 성능 향상에 얼마나 효과적인지 평가하는 것.

제안 방법

• 이 방법은 관찰 간섭(예: 인위적 노이즈)을 보조 훈련 신호로 명시적으로 통합하는 생성적 DRL 프레임워크를 도입한다.
• 관측된 상태와 행동 간의 인과관계를 모델링하는 학습 목표를 설정하여, 허위 상관관계와 진정한 인과 효과를 구분한다.
• CIQ 네트워크 아키텍처는 간섭의 영향과 진정한 환경 동역학을 분리하는 데 인과추론 메커니즘을 통합한다.
• 표준 DRL 손실과 간섭에 대한 강건성을 장려하는 인과 정규화 항을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.
• 대체 가능한 추론을 활용하여 다양한 간섭 조건 하에서 행동 선택이 어떻게 달라졌을지를 시뮬레이션함으로써 일반화 능력을 향상시킨다.
• 훈련 중에 간섭 유형을 보조 레이블로 사용하여, 인젝션된 간섭 유형이 있는 표준 DRL 환경에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 관찰과 행동 간의 인과관계를 모델링하는 것이 관찰 간섭 상황에서 DRL의 강건성에 어떻게 기여하는가?
• RQ2 인위적 간섭을 효과적으로 보조 레이블로 사용하여 DRL 에이전트의 강건성을 향상시킬 수 있는가?
• RQ3 CIQ 프레임워크는 정전, 고장 난 화면, 악성 변형이 존재하는 환경에서 표준 DRL 에이전트에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ4 인과추론의 통합이 간섭으로 인한 허위 상관관계에 대한 민감도를 어떻게 감소시키는가?
• RQ5 다양한 간섭 유형이 CIQ 에이전트의 성능 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• CIQ 방법은 다양한 간섭 조건 하에서 여러 벤치마크 환경에서 베이스라인 DRL 알고리즘보다 높은 성능을 달성했다.
• 정전과 고장 난 화면과 같은 관찰 간섭에 대해 CIQ 모델은 안정적인 정책 성능을 유지하며 향상된 강건성을 보였다.
• 악성 변형이 존재하는 환경에서는 표준 DRL 에이전트에 비해 CIQ가 더 뛰어난 강건성을 보이며, 인과 효과의 효과적인 분리가 이루어졌음을 시사했다.
• 간섭 유형을 보조 레이블로 사용함으로써, 간섭으로 인한 분포 이탈 상황에서도 에이전트의 일반화 능력이 크게 향상되었다.
• 인과추론의 통합은 더 안정적인 학습 곡선을 이끌었으며, 극심한 간섭 상황에서도 성능 저하가 감소했다.