[논문 리뷰] Decision-Theoretic Control of Problem Solving: Principles and Architecture

John S. Breese, Michael Fehling|arXiv (Cornell University)|2013. 03. 27.

Complex Systems and Decision Making참고 문헌 9인용 수 5

한 줄 요약

이 논문은 불확실하고 실시간 환경에서 문제 해결을 제어하기 위해 비용과 이점의 상호 교환 관계를 모델링하는 의사결정 이론 프레임워크를 제안한다. Schemer-II 아키텍처를 제안하여, 정보 가치 원리를 활용해 스케줄링 및 중요한 사건에 대한 대응을 지도함으로써, 믿음 정련 및 해법 구축과 같은 다양한 문제 해결 서브시스템의 상호 혼합형, 인터럽터블 실행을 가능하게 한다.

ABSTRACT

This paper presents an approach to the design of autonomous, real-time systems operating in uncertain environments. We address issues of problem solving and reflective control of reasoning under uncertainty in terms of two fundamental elements: l) a set of decision-theoretic models for selecting among alternative problem-solving methods and 2) a general computational architecture for resource-bounded problem solving. The decisiontheoretic models provide a set of principles for choosing among alternative problem-solving methods based on their relative costs and benefits, where benefits are characterized in terms of the value of information provided by the output of a reasoning activity. The output may be an estimate of some uncertain quantity or a recommendation for action. The computational architecture, called Schemer-ll, provides for interleaving of and communication among various problem-solving subsystems. These subsystems provide alternative approaches to information gathering, belief refinement, solution construction, and solution execution. In particular, the architecture provides a mechanism for interrupting the subsystems in response to critical events. We provide a decision theoretic account for scheduling problem-solving elements and for critical-event-driven interruption of activities in an architecture such as Schemer-II.

연구 동기 및 목표

• 결정 이론을 문제 해결 제어와 융합함으로써, 불확실하고 역동적인 환경에서 효과적으로 작동할 수 있는 자율 시스템을 설계하는 것.
• 자원 제약과 불확실성 하에서 경쟁적인 문제 해결 방법 간의 선택 과제를 해결하는 것.
• 다양한 추론 활동의 상호 혼합형, 인터럽터블 실행을 지원하는 계산 아키텍처를 개발하는 것.
• 실시간 정보 가치에 기반해 문제 해결 활동의 우선순위를 동적으로 재조정함으로써, 중요한 사건에 기반한 응답 기능을 제공하는 것.
• 다양한 문제 해결 경로에서 얻는 정보의 가치와 추론 비용 간의 상호 교환 관계를 체계화하는 것.

제안 방법

• 비용과 이점(정보 가치)을 기반으로 기대 효용을 평가하는 의사결정 이론 모델을 사용해 문제 해결 방법 선택을 체계화한다.
• 자원 제약이 있는 문제 해결을 위한 일반 목적의 프레임워크로 Schemer-II 아키텍처를 도입한다.
• 정보 수집, 믿음 정련, 해법 구축, 실행에 초점을 맞춘 서브시스템 간의 통신 및 조율을 지원한다.
• 중요한 사건에 대응하기 위해 진행 중인 추론 활동을 중단할 수 있는 메커니즘을 구현하여, 급격한 환경 변화에 즉각적으로 대응할 수 있도록 한다.
• 정보 가치 이론을 적용해 추론 구성 요소의 출력 기대 효용에 기반해 문제 해결 컴포넌트를 스케줄링한다.
• 고수준의 추론이 불확실성과 기대 결과에 기반해 하위 수준의 문제 해결 프로세스를 모니터링하고 지도하는 계층적이고 반사적인 제어 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 자율 시스템은 불확실성과 자원 제약 하에서 다양한 문제 해결 방법을 어떻게 동적으로 선택할 수 있는가?
• RQ2 기대 효용을 극대화하기 위해 추론 활동의 스케줄링을 지도할 수 있는 의사결정 이론 원리는 무엇인가?
• RQ3 다양한 문제 해결 서브시스템의 상호 혼합형, 인터럽터블 실행을 지원하는 계산 아키텍처는 어떻게 설계될 수 있는가?
• RQ4 유지보수 가능한 추론을 유지하면서도 중요한 사건에 실시간으로 대응할 수 있는 메커니즘은 무엇인가?
• RQ5 추론 출력에서 얻는 정보의 가치를 정량적으로 모델링하고, 이를 시스템 행동 지도에 활용할 수 있는가?

주요 결과

• 의사결정 이론 모델은 추론 방법의 기대 비용과 생성되는 정보의 가치를 균형 있게 고려함으로써 체계적인 문제 해결 방법 선택을 가능하게 한다.
• Schemer-II 아키텍처는 다양한 추론 서브시스템의 상호 혼합형 및 인터럽터블 실행을 성공적으로 지원하여, 역동적인 환경에서의 적응력을 향상시킨다.
• 중요한 사건에 기반한 인터럽션은 실시간 입력에 기반해 추론 우선순위를 재평가하는 반사적 제어 계층을 통해 효과적으로 관리된다.
• 이 프레임워크는 정보 가치 원리가 문제 해결 방법 선택뿐 아니라, 추론 프로세스의 스케줄링 및 종료 지도에도 활용될 수 있음을 보여준다.
• 이 접근법은 기대 효용이 가장 높은 추론 활동에 자원을 동적으로 재할당함으로써, 불확실성 하에서도 높은 성능을 유지할 수 있도록 한다.
• UAI-1988 회의록의 실험 결과에 따르면, 이 아키텍처는 복잡하고 불확실한 도메인에서 견고하고 실시간적인 의사결정을 지원한다.