[논문 리뷰] Optimal sequential decision making with probabilistic digital twins

Christian Agrell, Kristina Rognlien Dahl외 1명|arXiv (Cornell University)|2021. 03. 12.

Formal Methods in Verification인용 수 4

한 줄 요약

이 논문은 측도 이론적 조건화와 σ-대수를 사용하여 형식화된 지식적 불확실성 하에서 최적의 순차적 의사결정을 위한 확률적 디지털 트윈(PDT) 프레임워크를 제안한다. 고차원적이고 부분 관측 가능한 의사결정 문제를 해결하기 위해 집합 기반 신경망을 사용하는 딥 강화학습(RL) 접근법을 제안하며, 고장 확률 추정을 위한 최적의 정보 수집에서 뛰어난 성능을 보이며, 기준 정책 대비 94%의 성공률을 기록했다.

ABSTRACT

Digital twins are emerging in many industries, typically consisting of simulation models and data associated with a specific physical system. One of the main reasons for developing a digital twin, is to enable the simulation of possible consequences of a given action, without the need to interfere with the physical system itself. Physical systems of interest, and the environments they operate in, do not always behave deterministically. Moreover, information about the system and its environment is typically incomplete or imperfect. Probabilistic representations of systems and environments may therefore be called for, especially to support decisions in application areas where actions may have severe consequences. In this paper we introduce the probabilistic digital twin (PDT). We will start by discussing how epistemic uncertainty can be treated using measure theory, by modelling epistemic information via $σ$-algebras. Based on this, we give a formal definition of how epistemic uncertainty can be updated in a PDT. We then study the problem of optimal sequential decision making. That is, we consider the case where the outcome of each decision may inform the next. Within the PDT framework, we formulate this optimization problem. We discuss how this problem may be solved (at least in theory) via the maximum principle method or the dynamic programming principle. However, due to the curse of dimensionality, these methods are often not tractable in practice. To mend this, we propose a generic approximate solution using deep reinforcement learning together with neural networks defined on sets. We illustrate the method on a practical problem, considering optimal information gathering for the estimation of a failure probability.

연구 동기 및 목표

• 측도 이론과 σ-대수를 사용하여 디지털 트윈 내 지식적 불확실성을 공식화하고 적절한 조건화를 수행하기 위해.
• 새로운 정보로의 동적 갱신과 불확실성 전파를 지원하는 확률적 디지털 트윈(PDT)을 정의하기 위해.
• PDT 프레임워크 내에서 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 최적의 순차적 의사결정을 공식화하기 위해.
• 고차원적이고 계산적으로 비가역적인 문제를 해결하기 위해 딥 강화학습을 사용한 확장 가능한 근사적 해법을 개발하기 위해.
• 실용적 문제에 적용하기 위해: 최적의 실험 선택을 통한 자원 비용 최소화를 통한 고장 확률 추정 최소화하기 위해.

제안 방법

• 정보 상태를 표현하기 위해 σ-대수를 통한 측도 이론적 조건화를 사용하여 지식적 불확실성을 공식화하기 위해.
• 시뮬레이션, 데이터, 불확실성 전파를 통합하는 베이지안 모델로서 확률적 디지털 트윈(PDT)을 정의하기 위해.
• 행동가가 믿음 상태에 영향을 주고 결과가 확률적으로 관측되는 바탕으로 순차적 의사결정을 POMDP로 모델링하기 위해.
• 정보 상태 위의 가치 함수를 표현하기 위해 집합 구조를 가진 신경망을 사용하는 DQN 기반 에이전트를 사용하는 딥 RL 해법을 제안하기 위해.
• 학습의 안정성을 높이기 위해 경험 재생과 타겟 네트워크를 구현하여 고차원 믿음 공간에서의 안정적 정책 학습을 가능하게 하기 위해.
• 실험 비용(예: 측정 시 -10, 유한요소 분석 시 -0.1)을 페널티로 삼는 보상 함수를 사용하여 40회 실험 제한 내 총 비용 최소화하기 위해.

실험 결과

연구 질문

• RQ1 측도 이론적 기초를 사용하여 디지털 트윈 내 지식적 불확실성을 공식적으로 표현하고 업데이트할 수 있는 방법은 무엇인가요?
• RQ2 지식적 불확실성 하에서 최적의 순차적 의사결정을 지원할 수 있도록 확률적 디지털 트윈을 어떻게 구성할 수 있나요?
• RQ3 고차원적 PDT 문제에서 전통적인 동적 프로그래밍 및 최대 원리 방법의 한계는 무엇인가요?
• RQ4 딥 강화학습은 PDT 내 최적의 정보 수집을 위한 확장 가능하고 실용적인 해법을 제공할 수 있나요?
• RQ5 제안된 RL 기반 정책은 무작위 및 히우리스틱 정책에 비해 성공률과 비용 효율성 측면에서 어떻게 비교되나요?

주요 결과

• 딥 강화학습 에이전트는 40회의 실험 내에서 고장 확률 추정에 대해 94%의 성공률을 기록하여 무작위 정책(60% 성공률)을 크게 앞섰다.
• RL 기반 정책은 불확실성 감소를 기반으로 저비용(FE), 중간비용(실험실), 고비용(측정) 실험 간 지능적으로 선택하여 총 비용을 최소화했다.
• 경험 재생과 타겟 네트워크의 사용은 고차원 믿음 공간에서 DQN 에이전트의 안정적 학습과 수렴에 필수적이었다.
• 정보 상태를 효율적으로 표현하기 위해 집합 기반 신경망 아키텍처를 사용함으로써 이론적 곡률 문제를 효과적으로 다룰 수 있었다.
• 최대 원리 기반 방법을 통한 시간 비일관성 위험 측도(CVaR 등)로의 확장 가능성을 고려한 위험 인식 의사결정 지원 기능을 제공했다.
• 정보 수확량과 자원 비용의 균형을 맞추며 실시간 데이터 기반 의사결정 지원을 가능하게 하여 안전이 중요한 시스템에서의 적용 가능성을 보였다.