[논문 리뷰] Resolving Spurious Correlations in Causal Models of Environments via Interventions

Sergei Volodin, Nevan Wichers외 1명|arXiv (Cornell University)|2020. 02. 12.

Reinforcement Learning in Robotics참고 문헌 31인용 수 5

한 줄 요약

이 논문은 강화학습 기반 방법을 제안하여 환경의 인과 모델에서 유사 상관관계를 해결하기 위해 간섭을 설계함으로써 인과 모델 정확도를 향상시킨다. 학습된 간섭 보상 함수를 사용해 타깃 간섭을 수행하도록 에이전트를 훈련시킴으로써, 이 방법은 유사 상관관계를 드러내고 수정하는 데이터를 수집하며, 무작위 또는 환경 보상 정책으로 학습하는 것보다 더 강건하고 정확한 인과 그래프를 도출한다.

ABSTRACT

Causal models bring many benefits to decision-making systems (or agents) by making them interpretable, sample-efficient, and robust to changes in the input distribution. However, spurious correlations can lead to wrong causal models and predictions. We consider the problem of inferring a causal model of a reinforcement learning environment and we propose a method to deal with spurious correlations. Specifically, our method designs a reward function that incentivizes an agent to do an intervention to find errors in the causal model. The data obtained from doing the intervention is used to improve the causal model. We propose several intervention design methods and compare them. The experimental results in a grid-world environment show that our approach leads to better causal models compared to baselines: learning the model on data from a random policy or a policy trained on the environment's reward. The main contribution consists of methods to design interventions to resolve spurious correlations.

연구 동기 및 목표

• 강화학습 환경의 인과 모델에서 발생하는 유사 상관관계 문제를 해결함으로써 잘못된 예측과 낮은 일반화 능력을 방지한다.
• 모델 가정을 적극적으로 시험하고 수정할 수 있는 간섭을 통해 정확한 인과 모델을 학습하는 프레임워크를 개발한다.
• 모델 오류를 드러내는 데이터 수집을 유도하는 간섭 전략을 설계함으로써 인과 모델의 정밀도를 향상시킨다.

제안 방법

• 이 방법은 간섭 보상이라 불리는 보상 함수를 사용하여 에이전트가 인과 모델 가정을 시험할 수 있도록 구조적 간섭을 수행하도록 유도한다.
• 간섭 보상은 수작업으로 설계된 히우리스틱(노드/엣지 간섭) 또는 엔드 투 엔드로 학습하는 방법(예: 손실 기반 간섭)을 통해 설계되며, 이는 에이전트가 모델 오류를 드러내는 방식으로 행동하도록 이끈다.
• 에이전트의 정책은 간섭 보상 기반으로 훈련되며, 이 정책의 롤아웃 결과를 바탕으로 인과 모델을 재학습함으로써 점진적으로 정확도를 향상시킨다.
• 인과 모델에 사용된 특징은 원시 픽셀이 아니라 관측 결과에서 수작업으로 설계된 것으로(예: 플레이어, 열쇠, 상자 위치), 이는 고수준의 추론을 가능하게 한다.
• 이 과정은 반복적이다: 각 간섭 이후에 새로운 데이터 기반으로 인과 모델을 재학습하고, 업데이트된 모델에 기반해 새로운 간섭을 설계한다.
• 간섭 성공 여부는 진정한 인과 그래프로의 수렴 정도를 측정함으로써 평가되며, 중앙값 에피소드 수 수렴 및 정확한 그래프 식별 빈도 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 학습된 보상 함수에 의해 안내되는 간섭이 강화학습 환경의 인과 모델에서 유사 상관관계를 효과적으로 해결할 수 있는가?
• RQ2 노드, 엣지, 또는 손실 기반 간섭과 같은 다양한 간섭 설계 전략 간의 진정한 인과 구조를 드러내는 능력은 어떻게 비교되는가?
• RQ3 간섭 정책을 통해 수집한 데이터는 무작위 또는 환경 보상 정책으로 학습하는 것보다 더 정확한 인과 모델을 도출하는가?
• RQ4 간섭 대상의 선택(예: 특정 노드 또는 엣지)이 인과 모델 학습의 수렴 속도와 정확도에 어떤 영향을 미치는가?
• RQ5 불확실성 기반 간섭 대상 선택이 모델 학습 효율성 향상에 얼마나 기여하는가?

주요 결과

• 손실 기반 간섭 방법은 환경 B에서 노드 및 엣지 방법보다 우수한 성능을 보였으며, 진정한 인과 그래프로의 수렴 속도가 빠르게 나타났다.
• 정확한 인과 그래프를 발견하기 위해 필요한 에피소드 수의 중앙값은 간섭 횟수가 증가할수록 감소했으며, 특히 손실 기반 및 엣지 간섭 방법에서 두드러졌다.
• 반복 없이 엣지를 샘플링하는 것이 반복을 포함한 경우보다 더 빠른 수렴을 이끌어내어, 탐색 효율성이 향상됨을 시사했다.
• 다른 학습 서브셋을 기반으로 불확실성에 따라 엣지를 선택한 결과, 무작위 엣지 선택보다 더 좋은 성능을 보였으며, 이는 활성 학습이 간섭 품질을 향상시킨다는 것을 시사한다.
• 환경 보상에 의해 새로운 정책을 이전 정책에 가깝게 유지함으로써 특징 통계를 유지할 수 있었으며, 단순히 통계를 제약하는 것만으로는 정책 적응으로 인해 효과가 없었다.
• 이 방법은 환경 B와 C에서 유사 상관관계를 성공적으로 해결했으며, 열쇠 존재 여부와 같은 특징에 의존하는 오류를 간섭 롤아웃 데이터를 통해 수정하였다.