[논문 리뷰] Playing against Nature: causal discovery for decision making under uncertainty

Mauricio Gonzalez-Soto, Luis Enrique Sucar외 1명|arXiv (Cornell University)|2018. 07. 03.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 8

한 줄 요약

이 논문은 환경의 알려지지 않은 원인 구조를 가진 환경과 순차적 상호작용을 통해 의사결정 정책과 잠재적 원인 모델을 동시에 학습하는 인과 강화학습 프레임워크를 제안한다. 환경을 고정되어 있지만 알려지지 않은 원인 메커니즘을 가진 전략적 '자연(Nature)' 플레이어로 모델링하고, 각 결과 이후에 원인 신뢰도를 갱신함으로써 Q-학습과 유사한 성능를 달성하면서도, 반사적 추론과 설명 가능성을 위한 해석 가능한 인과 지식을 확보한다.

ABSTRACT

We consider decision problems under uncertainty where the options available to a decision maker and the resulting outcome are related through a causal mechanism which is unknown to the decision maker. We ask how a decision maker can learn about this causal mechanism through sequential decision making as well as using current causal knowledge inside each round in order to make better choices had she not considered causal knowledge and propose a decision making procedure in which an agent holds extit{beliefs} about her environment which are used to make a choice and are updated using the observed outcome. As proof of concept, we present an implementation of this causal decision making model and apply it in a simple scenario. We show that the model achieves a performance similar to the classic Q-learning while it also acquires a causal model of the environment.

연구 동기 및 목표

• 환경의 인과적 구조가 알려져 있지 않지만 존재한다고 가정할 때의 불확실성 하에서의 의사결정 문제를 해결하기 위해.
• 인과 추론을 순차적 의사결정과 통합하는 학습 절차를 개발하여, 에이전트가 간섭과 그 영향을 추론할 수 있도록 하기 위해.
• 최적의 행동뿐 아니라 반복적 상호작용을 통해 환경의 인과 모델을 학습할 수 있도록 하기 위해.
• 인과 강화학습과 연관 강화학습 사이의 격차를 해소하기 위해 학습 과정에 인과적 구조를 통합하기 위해.
• 학습된 인과 모델을 바탕으로 '만약 다른 행동을 했더라면 어떻게 됐을까?'와 같은 '만약에' 질문을 해결할 수 있는 반사적 추론을 수행할 수 있도록 하는 프레임워크를 제공하기 위해.

제안 방법

• 에이전트-환경 상호작용을 의사결정자와 '자연(Nature)' 사이의 게임으로 모델링하며, 자연은 고정되어 있지만 알려지지 않은 인과 메커니즘에 따라 간섭에 반응한다.
• 기본적으로 정보가 없는 사전 분포를 조건부 확률 표에 적용하여 가능한 인과 구조에 대한 신뢰도 분포를 유지하고 갱신한다.
• 각 라운드에서 현재 신뢰도에서 국소적 인과 모델을 구성하고, 원하는 결과(예: 환자 생존)의 확률을 최대화하는 행동을 선택한다.
• 간섭(행동)을 수행하고 결과를 관찰한 후, 관측된 증거를 바탕으로 조건부 확률 분포의 딜레트 분포의 사전 매개변수를 갱신한다.
• 갱신된 신뢰도를 사용하여 다음 라운드를 위한 새로운 인과 모델을 생성함으로써 정책과 인과 구조의 점진적 정교화를 가능하게 한다.
• 일반화된 톰슨 샘플링을 사용하여 인과 모델의 사후 분포에서 샘플링하여 관측된 데이터와 일관성을 유지하면서 탐색을 보장한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 진정한 인과 구조를 가진 환경에서 순차적 상호작용을 통해 의사결정 에이전트가 인과 모델을 학습할 수 있는가?
• RQ2 강화학습에 인과적 구조를 통합할 경우, Q-학습과 같은 전통적인 연관적 방법에 비해 학습 성능에 어떤 영향을 미치는가?
• RQ3 학습된 인과 모델이 얼마나 잘 반사적 추론(예: '다른 행동을 했더라면 어떻게 됐을까?')를 지원할 수 있는가?
• RQ4 인과 모델에 대한 신뢰도 갱신 메커니즘이 불확실한 환경에서 안정적이고 수렴 가능한 정책 학습을 이끌 수 있는가?
• RQ5 제안된 인과 의사결정 프레임워크의 성능는 누적 보상과 수렴 속도 측면에서 고전적 Q-학습과 비교해 어떻게 되는가?

주요 결과

• 100라운드와 200라운드 후, 제안된 인과 에이전트는 Q-학습과 유사한 평균 보상을 달성하며, 후반 단계에서는 Q-학습과 거의 동일한 성능를 보였다.
• 초기 라운드(예: 20라운드)에서는 인과 에이전트가 무작위 에이전트와 유사한 성능를 보이며 학습 곡선을 반영하지만, 50라운드부터는 무작위 선택을 능가하기 시작한다.
• 100라운드 이후, 인과 에이전트는 평균 보상에서 Q-학습을 略로 초월하며, 인과 설정에서 더 빠른 수렴 또는 더 나은 탐색 전략을 가졌음을 시사한다.
• 200라운드 이후, 인과 에이전트의 평균 보상은 Q-학습과 거의 동일하며, 추가로 인과적 구조를 학습함에도 불구하고 경쟁 가능한 성능를 보였다.
• 에이전트는 환경의 인과 모델을 성공적으로 습득하여 의사결정의 해석과 반사적 질의 지원이 가능해졌으며, 이는 기존 Q-학습에서는 존재하지 않는 능력이다.
• 이 방법은 인과 추론을 강화학습에 통합함으로써 높은 성능와 해석 가능성의 조화를 이룰 수 있음을 보여주며, 더 투명하고 견고한 AI 의사결정 시스템으로 나아갈 수 있는 길을 제시한다.