[논문 리뷰] Counterfactual Explanations in Sequential Decision Making Under Uncertainty

Stratis Tsirtsis, Abir De외 1명|arXiv (Cornell University)|2021. 07. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 5

한 줄 요약

이 논문은 유한한 시간 범위를 가진 마르코프 결정 과정과 굼벨-맥스 구조적 인과 모델을 사용하여 불확실성 하에서 순차적 의사결정 과정에 대한 반사적 설명을 생성하기 위한 새로운 프레임워크를 제안한다. 관찰된 시퀀스에서 최대 $k$개의 행동만을 변경함으로써 개선된 결과를 보장하는 다항식 시간 동적 프로그래밍 알고리즘을 제안하며, 합성 및 실제 인지 행동 치료 데이터를 기반으로 검증되었으며 임상적으로 의미 있는 통찰을 제공한다.

ABSTRACT

Methods to find counterfactual explanations have predominantly focused on one step decision making processes. In this work, we initiate the development of methods to find counterfactual explanations for decision making processes in which multiple, dependent actions are taken sequentially over time. We start by formally characterizing a sequence of actions and states using finite horizon Markov decision processes and the Gumbel-Max structural causal model. Building upon this characterization, we formally state the problem of finding counterfactual explanations for sequential decision making processes. In our problem formulation, the counterfactual explanation specifies an alternative sequence of actions differing in at most k actions from the observed sequence that could have led the observed process realization to a better outcome. Then, we introduce a polynomial time algorithm based on dynamic programming to build a counterfactual policy that is guaranteed to always provide the optimal counterfactual explanation on every possible realization of the counterfactual environment dynamics. We validate our algorithm using both synthetic and real data from cognitive behavioral therapy and show that the counterfactual explanations our algorithm finds can provide valuable insights to enhance sequential decision making under uncertainty.

연구 동기 및 목표

• 다중 단계, 상호의존적인 행동을 포함하는 순차적 의사결정 과정에 대한 반사적 설명의 격차를 해소하기 위해.
• 관찰된 시퀀스와 최대 $k$개의 행동에서 다름을 보이는 행동 시퀀스에 대한 제약 조건을 부여한 검색 문제로 반사적 설명을 정식화하기 위해.
• 모든 반사적 동적 변화의 실현값에 대해 최적의 반사적 결과를 보장하는 확장 가능한 다항식 시간 알고리즘을 개발하기 위해.
• 실제 임상 데이터를 기반으로 방법을 검증하여 실용적이고 임상적으로 해석 가능한 통찰을 제시하기 위해.
• 후행 분석을 위한 인과 기반, 간섭 기반 설명 프레임워크를 제공하기 위해.

제안 방법

• 이산적이고 저차원의 상태 및 행동 공간을 갖는 유한 시간 범위 마르코프 결정 과정(MDP)을 사용하여 순차적 의사결정 과정을 정식화한다.
• 반사적 안정성과 신뢰할 수 있는 결과 추정을 보장하기 위해 전이 확률을 굼벨-맥스 구조적 인과 모델로 모델링한다.
• 반사적 설명 문제를 관찰된 시퀀스와 최대 $k$개의 행동에서 다름을 보이는 대체 행동 시퀀스에 대한 제약 조건을 부여한 검색 문제로 정의한다.
• 반사적 전이 동적 변화의 모든 실현값에 대해 최적의 결과를 보장하는 동적 프로그래밍 기반 알고리즘을 개발한다.
• 다양한 반사적 실현값을 샘플링하여 결과 향상 정도를 평가하고 간섭에 가장 적합한 시간 단계를 식별하는 정책 평가 메커니즘을 활용한다.
• 알고리즘적 샘플링을 통해 반사적 실현값 전반에서 일관된 행동 변경(예: 인지 재구성 기법을 행동 활성화로 교체)을 식별한다.

실험 결과

연구 질문

• RQ1 다양하고 상호의존적인 행동을 포함하는 순차적 의사결정 과정에 대해 반사적 설명을 의미 있게 확장할 수 있는가?
• RQ2 불확실성 하에서 최적의 결과를 보장하는 방식으로 반사적 설명을 공식화하고 계산할 수 있는가?
• RQ3 관찰된 경로와 최대 $k$개의 행동에서 다름을 보이는 최적의 반사적 행동 시퀀스를 찾는 데 필요한 계산 복잡도는 무엇인가?
• RQ4 실제 순차적 의사결정 과정에서 제안된 방법으로 유도된 반사적 설명은 관찰된 결과와 어떻게 비교되는가?
• RQ5 다양한 실현값에서 최적의 반사적 정책이 가장 자주 권장하는 시간 단계와 행동 변경은 무엇인가?

주요 결과

• 우울증 경과가 악화되는 환자에게 대해 $k=3$일 때 최적의 반사적 정책은 관찰된 결과 대비 평균 결과를 9.5% 향상시켰다.
• 샘플링된 반사적 실현값의 85%에서 결과가 관찰된 결과를 초과하여, 제안된 행동 변경 하에 결과 향상의 높은 확률을 보였다.
• 시간 단계 $t=10$, $t=13$, $t=16$가 반사적 설명에서 빈번하게 나타났으며, $t=10$은 임상적 악화의 시작을 나타냈다.
• 최적의 정책은 악화 단계의 시작 시점에 항상 인지 재구성 기법(CRT)을 행동 활성화(BHA)로 교체할 것을 일관되게 권장하였으며, 이는 정신건강 전문가들에 의해 임상적으로 타당한 권고로 평가되었다.
• 가장 성과가 뛰어난 반사적 실현값에서 악화 경로는 대부분 피할 수 있었으며, 이는 본 방법이 부정적인 결과를 방지할 잠재력을 지닌다는 것을 보여주었다.
• 본 방법은 임상 최선의 실천과 일치하는 실천 가능하고 해석 가능한 치료 시퀀스 변경을 식별하여 실제 적용에서 신뢰도와 유용성을 향상시켰다.