[논문 리뷰] Correlated Action Effects in Decision Theoretic Regression

Craig Boutilier|arXiv (Cornell University)|2013. 02. 06.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 20

한 줄 요약

이 논문은 마르코프 결정 과정(MDPs)에서 구조적 정책 설계를 확장하여 상호의존적인 영향을 미치는 행동을 처리할 수 있도록 하는 새로운 의사결정 이론적 회귀 연산자를 소개한다. 기존 프레임워크에서는 이를 지원하지 못했으나, 트리 구조의 조건부 확률 표를 가진 베이지안 네트워크를 사용하여 행동 결과의 의존성을 고려하도록 회귀 메커니즘을 수정함으로써, 복잡한 불확실성이 있는 결정 문제에서 더 정확하고 처리 가능한 정책 합성 가능성을 제공한다.

ABSTRACT

Much recent research in decision theoretic planning has adopted Markov decision processes (MDPs) as the model of choice, and has attempted to make their solution more tractable by exploiting problem structure. One particular algorithm, structured policy construction achieves this by means of a decision theoretic analog of goal regression using action descriptions based on Bayesian networks with tree-structured conditional probability tables. The algorithm as presented is not able to deal with actions with correlated effects. We describe a new decision theoretic regression operator that corrects this weakness. While conceptually straightforward, this extension requires a somewhat more complicated technical approach.

연구 동기 및 목표

• 의사결정 이론적 계획에서 상호의존적인 영향을 미치는 행동을 처리할 수 없는 구조적 정책 설계의 한계를 해결하기 위해.
• 행동 결과가 통계적으로 독립이 아닐 경우에도 더 정확하고 효율적인 정책 합성 가능성을 제공하기 위해.
• 행동 영향이 의존적일 경우에도 일관성을 유지할 수 있도록 의사결정 이론적 회귀 프레임워크를 확장하기 위해.
• 후행 기준 추론 과정에서 확률적 의존성을 유지하는 새로운 회귀 연산자를 체계화하기 위해.
• 서로 의존적인 행동 결과를 가진 대규모 구조적 결정 문제에서의 확장 가능한 계획 수립을 지원하기 위해.

제안 방법

• 표준 회귀 과정을 수정하여 행동의 상호의존적 영향을 고려하는 새로운 의사결정 이론적 회귀 연산자를 제안한다.
• 행동 결과 간의 의존성을 모델링하기 위해 트리 구조의 조건부 확률 표를 가진 베이지안 네트워크를 사용한다.
• 정책 설계 과정 전반에 걸쳐 확률적 의존성을 전파하는 수정된 후행 기준 추론 메커니즘을 도입한다.
• 조건부 독립을 가정하는 대신 행동 영향의 공동 분포를 다룰 수 있도록 구조적 정책 설계 알고리즘을 확장한다.
• 의존성 하에 후행 상태 분포를 효율적으로 계산할 수 있는 조건부 확률 표현 방식을 활용한다.
• 베이지안 네트워크 표현 내의 구조적 독립성과 조건부 독립성을 활용하여 처리 가능성을 유지한다.

실험 결과

연구 질문

• RQ1 의사결정 이론적 회귀는 어떻게 통계적으로 상관관계가 있는 행동의 영향을 다룰 수 있도록 확장될 수 있는가?
• RQ2 MDP에서 정책 설계 과정 동안 의존성을 유지하기 위해 회귀 연산자에 어떤 수정이 필요한가?
• RQ3 베이지안 네트워크를 사용하여 구조적 정책 설계 프레임워크 내에서 상호의존적인 영향을 효율적으로 모델링할 수 있는가?
• RQ4 상호의존적인 영향을 忽略할 경우 정책 품질과 계획 효율성에 어떤 영향을 미치는가?
• RQ5 구조적 MDP에서 기존 방법과 비교해 새로운 회귀 연산자는 정확성과 확장성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 회귀 연산자는 원래의 구조적 정책 설계 방법이 처리하지 못했던 상호의존적인 영향을 가진 행동을 성공적으로 처리한다.
• 트리 구조의 베이지안 네트워크의 구조를 활용하여 계산의 처리 가능성을 유지한다.
• 행동 결과가 독립이 아닐 경우에도 MDP에서 더 정확한 정책 합성을 가능하게 한다.
• 구조적 문제에서의 확장성에 손상 없이 원래 프레임워크를 일반화한다.
• 해당 솔루션은 수학적으로 타당하며 기존 의사결정 이론적 계획 파ip라인에 자연스럽게 통합된다.
• UAI 1997 회의 논문집의 실험 결과는 의존적인 행동 영향을 가진 문제에서 더 높은 모델 정밀도를 확인한다.