[논문 리뷰] Explainable Human-in-the-loop Dynamic Data-Driven Digital Twins

Nan Zhang, Rami Bahsoon외 2명|arXiv (Cornell University)|2022. 07. 19.

Digital Transformation in Industry참고 문헌 17인용 수 8

한 줄 요약

이 논문은 동적 데이터 기반 응용 시스템(Dynamic Data-Driven Applications Systems, DDDAS) 피드백 루프를 활용한 설명 가능하고 인간이 참여하는 디지털 트윈 아키텍처를 제안하며, 해석 가능한 기계학습과 목표 모델링을 통해 의사결정을 위한 맥락 기반 설명을 생성한다. 주요 기여는 설명 가능성에 있어 핵심 의사결정 지점을 식별하고, 유틸리티와 인간의 인지 부담 간 균형을 이루며, 적응형 모델 선택과 이상 탐지 기능을 갖춘 스마트 웨어하우징 환경에서의 적용 가능성을 입증한 참조 아키텍처이다.

ABSTRACT

Digital Twins (DT) are essentially dynamic data-driven models that serve as real-time symbiotic "virtual replicas" of real-world systems. DT can leverage fundamentals of Dynamic Data-Driven Applications Systems (DDDAS) bidirectional symbiotic sensing feedback loops for its continuous updates. Sensing loops can consequently steer measurement, analysis and reconfiguration aimed at more accurate modelling and analysis in DT. The reconfiguration decisions can be autonomous or interactive, keeping human-in-the-loop. The trustworthiness of these decisions can be hindered by inadequate explainability of the rationale, and utility gained in implementing the decision for the given situation among alternatives. Additionally, different decision-making algorithms and models have varying complexity, quality and can result in different utility gained for the model. The inadequacy of explainability can limit the extent to which humans can evaluate the decisions, often leading to updates which are unfit for the given situation, erroneous, compromising the overall accuracy of the model. The novel contribution of this paper is an approach to harnessing explainability in human-in-the-loop DDDAS and DT systems, leveraging bidirectional symbiotic sensing feedback. The approach utilises interpretable machine learning and goal modelling to explainability, and considers trade-off analysis of utility gained. We use examples from smart warehousing to demonstrate the approach.

연구 동기 및 목표

• 인간이 참여하는 디지털 트윈(DT)에서 설명 가능성의 부족 문제를 해결하기 위해, 특히 단기적으로는 직관적이거나 최적화되지 않은 의사결정이지만 장기적으로는 유익한 경우를 대비한다.
• 특히 DDDAS 피드백 루프에서 인간의 신뢰와 시스템 신뢰성 확보를 위해 설명이 필수적인 핵심 시스템 영역을 식별한다.
• 설명 가능성 원천을 DT에 통합하는 참조 아키텍처를 설계하여, 이전 연구를 발전시켜 의사결정 정당화 및 유틸리티 트레이드오프에 대한 명시적 지원을 제공한다.
• 설명 제공 시 계산 비용, 인간의 인지 부담, 시스템 유틸리티 간의 트레이드오프를 평가한다.
• 인간-기계 협업이 필수적인 스마트 웨어하우징과 같은 실제 사례에서 접근 방식을 검증한다.

제안 방법

• 데이터 중심 전략을 사용하여 DDDAS 기반 DT에서 설명 가능성의 중요성이 가장 높은 의사결정 지점을 식별하며, 데이터 입력에 따라 추적되는 적응 결정을 중심으로 한다.
• 해석 가능한 기계학습 모델(예: 의사결정나무)과 목표 모델링을 활용하여 컨트롤러의 의사결정에 대한 인간이 이해할 수 있는 설명을 생성한다.
• 세 개의 컨트롤러—적응형 선택기, 업데이터 컨트롤러, 의사결정 컨트롤러—를 포함한 참조 아키텍처를 도입하며, 각 컨트롤러는 자체 의사결정 논리와 연결된 설명 기능을 갖춘다.
• 시나리오 기반 아키텍처 평가(예: ATAM)를 적용하여 설명 가능성의 영향을 시스템 품질 속성(예: 준수성, 디버깅, 투명성)에 대해 평가한다.
• 설명 비용(예: 인간의 지연, 계산 오버헤드)과 이로 인한 이점(예: 오류 감소, 신뢰도 향상) 간의 트레이드오프 분석을 수행한다.
• AnyLogic에서 프로토타입 에이전트 기반 모델을 활용하여 스마트 웨어하우징 물류 시뮬레이션을 수행하며 인간이 참여하는 의사결정 지원 기능을 검증한다.

실험 결과

연구 질문

• RQ1 DDDAS 기반 디지털 트윈 아키텍처에서 인간의 신뢰와 시스템 신뢰성 확보를 위해 설명이 가장 중요한 위치는 어디인가?
• RQ2 해석 가능한 기계학습과 목표 모델링은 어떻게 DT 컨트롤러에 통합되어 맥락 기반의 실천 가능한 설명을 생성할 수 있는가?
• RQ3 설명 제공의 이점(예: 의사결정 품질 향상)과 인간의 작업 부담 및 시스템 성능에 미치는 영향 간의 트레이드오프는 무엇인가?
• RQ4 실시간 DT 시스템에서 동적 모델 적응의 유틸리티와 정확성에 설명 가능성의 통합이 미치는 영향은 어떠한가?
• RQ5 얼마나까지 설명 가능성은 자율적 디지털 트윈 시스템에서 인간의 감시와 간섭 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 참조 아키텍처는 설명 가능성의 영향이 가장 큰 세 가지 핵심 의사결정 지점—모델 선택, 파라미터 校정, 행동 선택—을 성공적으로 식별하였으며, 이는 신뢰도 향상과 시스템 투명성 향상에 기여한다.
• 설명은 인간이 단기적 비최적화와 장기적 전략적 의사결정을 구분하는 데 도움을 주며, 특히 강화학습 기반 DT에서 두드러진다.
• 빈번한 설명은 이상 현상(예: 잘못된 校정 트리거)에 대한 오해를 줄일 수 있지만, 동시에 사용자 피로를 유발하고 경험 품질을 떨어뜨릴 수 있다.
• 계산 비용과 인간의 인지 비용 간의 트레이드오프는 비단순하다: 최적의 설명 주기는 신뢰성과 사용성 간의 균형을 이루어야 한다.
• 시나리오 기반 평가 결과, 설명 가능성은 준수성 향상, 정밀한 디버깅 지원, 데이터 기반 의사결정 체인의 투명성 향상에 기여한다.
• AnyLogic에서의 프로토타입 구현은 실시간 디지털 트윈 시스템에 설명 가능한 컨트롤러를 통합하는 것이 가능함을 입증한다.