[논문 리뷰] An Anytime Algorithm for Decision Making under Uncertainty

Michael C. Horsch, David Poole|arXiv (Cornell University)|2013. 01. 30.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 45

한 줄 요약

이 논문은 다단계 영향도표를 사용하여 불확실성 하에서 의사결정을 위한 anytime 알고리즘을 제시한다. 이 알고리즘은 각 단계에서 가용 정보를 점진적으로 통합함으로써 부분 최적 정책을 점진적으로 구축한다. 기존 방법으로는 최적 해를 계산할 수 없는 상황에서도 유용한 정책을 사전에 생성할 수 있음을 보여주며, 특히 정확한 계산이 비현실적인 대규모 문제에서 효과적이다.

ABSTRACT

We present an anytime algorithm which computes policies for decision problems represented as multi-stage influence diagrams. Our algorithm constructs policies incrementally, starting from a policy which makes no use of the available information. The incremental process constructs policies which includes more of the information available to the decision maker at each step. While the process converges to the optimal policy, our approach is designed for situations in which computing the optimal policy is infeasible. We provide examples of the process on several large decision problems, showing that, for these examples, the process constructs valuable (but sub-optimal) policies before the optimal policy would be available by traditional methods.

연구 동기 및 목표

• 대규모 의사결정 문제에서 최적 정책을 계산하는 데 도전하는 데 목적이 있다.
• 기존 최적 해 계산이 가능한 시점 이전에 유용한 부분 최적 정책을 점진적으로 생성하는 방법을 개발하는 데 목적이 있다.
• 정확한 최적 정책 계산이 비현실적인 실세계 시나리오에서 실용적인 의사결정 지원을 가능하게 하는 데 목적이 있다.
• 대규모 영향도표 문제에서 점진적 정책 구축의 효과성을 입증하는 데 목적이 있다.

제안 방법

• 알고리즘은 모든 가용 정보를 忽시하는 정책으로 시작하여 점진적으로 정책을 구성한다.
• 각 단계에서 알고리즘은 더 많은 가용 정보를 정책에 통합함으로써 정책의 품질을 점진적으로 향상시킨다.
• 이 방법은 다단계 의사결정, 확률 변수, 그리고 보상 함수를 모델링하는 영향도표 표현 기반이다.
• 알고리즘은 각 단계에서 어떤 정보를 우선순위에 따라 포함할지를 결정하기 위해 정보의 가치 접근법을 사용한다.
• 동적 프로그래밍 원리를 활용하여 부분 정책에 대한 기대 효용을 계산한다.
• 이 과정은 anytime 설계를 따르며, 언제든 유효한 정책을 반환할 수 있고, 시간이 지남에 따라 정책 품질이 향상된다.

실험 결과

연구 질문

• RQ1 가용 정보를 점진적으로 통합하면서도 계산 가능성을 유지하면서 정책 품질이 향상되는 정책을 구성할 수 있는가?
• RQ2 대규모 의사결정 문제에서 정보의 점진적 통합이 정책 품질에 어떤 영향을 미치는가?
• RQ3 이 접근법은 기존 최적 정책 계산이 완료되기 이전에 유용한 정책을 생성할 수 있는가?
• RQ4 점진적 정책 구축 과정에서 계산 노력과 정책 품질 사이의 상충 관계는 어떠한가?

주요 결과

• 기존 최적 해 계산이 가능한 시점 이전에도, 가용 정보를 점진적으로 통합함으로써 점차 향상되는 정책을 생성한다.
• 대규모 의사결정 문제에서는 기존 최적 정책 계산에 비해 훨씬 짧은 시간 내에 가치 있는 부분 최적 정책을 생성한다.
• 점진적 정책 구축 과정은 최적 정책로 수렴하지만, 초기에 양호한 정책을 제공하도록 설계되어 있다.
• 대규모 문제에 대한 실험 결과는 알고리즘이 anytime 특성을 지녀, 정확한 방법이 실패하는 상황에서도 실용적인 의사결정 지원을 제공함을 보여준다.