[논문 리뷰] Safe Handover in Mixed-Initiative Control for Cyber-Physical Systems

Frederik Wiehr, Anke Hirsch외 8명|arXiv (Cornell University)|2020. 10. 21.

Smart Grid Security and Resilience참고 문헌 29인용 수 4

한 줄 요약

이 논문은 자동 계획과 서술 논리의 조합을 통해 혼합 주도형 사이버-물리 시스템, 특히 자율 주행에서 안전하고 적시이며 설명 가능한 제어 이관을 가능하게 하는 공식적 프레임워크를 제안한다. 비정상적인 상황을 사전에 예측하고 맥락 인식 기반의 자연어 설명을 생성함으로써, 시스템은 운전자의 상황 인식 능력을 향상시키고 인지 부담을 줄이며 자동화에 대한 신뢰를 강화한다.

ABSTRACT

For mixed-initiative control between cyber-physical systems (CPS) and its users, it is still an open question how machines can safely hand over control to humans. In this work, we propose a concept to provide technological support that uses formal methods from AI -- description logic (DL) and automated planning -- to predict more reliably when a hand-over is necessary, and to increase the advance notice for handovers by planning ahead of runtime. We combine this with methods from human-computer interaction (HCI) and natural language generation (NLG) to develop solutions for safe and smooth handovers and provide an example autonomous driving scenario. A study design is proposed with the assessment of qualitative feedback, cognitive load and trust in automation.

연구 동기 및 목표

• 안전이 중요한 사이버-물리 시스템에서 자율 시스템이 인간 운영자에게 제어를 이관하는 데 있어 안전하고 적시적인 이관 문제를 해결한다.
• 현재 시스템이 이관 전환 과정에서 사전 계획 및 설명 기능이 부족한 점을 보완한다.
• 시행적이고 맥락 인식 기반의 구두 및 시각적 설명을 제공함으로써 제어 이관 중 운전자의 상황 인식 능력을 향상시키고 인지 부담을 줄인다.
• 다중 모odal, 적시적이고 개인화된 이관 신호가 자동 주행 환경에서 사용자 신뢰, 작업 부하 및 성과에 미치는 영향을 조사한다.
• 형식적 AI 방법(계획 및 서술 논리)과 인간-컴퓨터 상호작용 및 자연어 생성을 통합한 시스템 아키텍처를 개발한다.

제안 방법

• 비정상적인 상황(예: 공사 지역 접근, 기민한 차량 등)을 사전에 예측하고 실제 필요가 발생하기 이르기 전에 제어 이관 준비를 시작하기 위해 자동 계획을 활용한다.
• 서술 논리(DL)를 사용하여 제어 이관이 필요한 이유에 대한 원인 분석을 모델링하고 추론함으로써 런타임에서 의미적으로 풍부하고 인간이 이해할 수 있는 설명을 생성한다.
• 자연어 생성(NLG) 기법—특히 준지도 기반 NLG와 자동 품질 평가 기준—을 통합하여 정보 밀도가 높고 맥락에 적절한 음성 경고를 생성한다.
• 사용자 모델링(인지 부담, 경각심, 작업 숙련도 등, 예: 초보자 대비 전문 운전자)을 기반으로 제어 이관 신호를 동적으로 조정하는 다중 모달 상호작용 레이어를 구현한다.
• 온톨로지를 사용하여 사용자 모델과 시스템 상태를 표현하고 해석함으로써 제어 이관 방식(예: 시각적, 청각적, 구두 방식 등)의 동적 적응을 가능하게 한다.
• AirSim을 사용하여 시뮬레이션 주행 환경을 설계하고, 네 가지 다른 이관 조건을 평가한다: (1) 벨소리만, (2) 계획을 통한 사전 벨소리 요청, (3) 서술 논리를 통한 후속 설명, (4) 사전 요청과 후속 설명의 조합.

실험 결과

연구 질문

• RQ1 이관 신호의 시기와 모달리티(예: 사전 벨소리 요청, 후속 벨소리 설명)가 운전자의 인지 부담과 상황 인식 능력에 미치는 영향은 어떠한가?
• RQ2 서술 논리를 통해 생성된 맥락 인식 기반의 자연어 설명은 표준 경고 대비 자동화에 대한 사용자 신뢰를 얼마나 향상시키는가?
• RQ3 사전 계획을 통해 제어 이관 전환의 급박함과 스트레스를 줄일 수 있는가? 즉, 조기에 개입하고 원활한 제어 이관을 가능하게 하는가?
• RQ4 개인적 차이(예: 경험 수준, 인지 능력 등)는 다중 모달 이관 신호의 효과성에 어떤 영향을 미치는가?
• RQ5 계획 기반 예측과 서술 논리 기반 설명의 조합이 비정상적인 주행 이벤트 동안 사용자 성과와 인지된 안전성에 미치는 통합적 영향은 어떠한가?

주요 결과

• 자동 계획의 통합은 시스템이 제어 이관 준비를 매우 이르기 시작할 수 있도록 해주며(제안된 시계열에서 점 A), 마지막 순간의 스트레스를 줄이고 반응 준비도 향상시킨다.
• 서술 논리(DL)를 통해 제어 이관이 필요한 이유에 대한 의미 기반 설명을 런타임에서 생성할 수 있으며, 이는 투명성과 사용자 이해도를 향상시킨다.
• 사전 벨소리 요청(계획 기반)과 후속 설명(DL 기반)의 조합은 사용자가 시스템의 투명성을 더 잘 인지하고 전환 과정에서 혼란을 줄이는 데 뚜렷한 효과가 있다.
• 초기 설계 결과에 따르면, 특히 음성 설명과 시각적 또는 청각적 자극을 조합한 다중 모달 이관 신호는 단순 벨소리 경고보다 더 뛰어난 상황 인식 능력을 제공하는 것으로 나타났다.
• 준지도 기반 NLG와 자동 품질 평가 기법을 사용함으로써, 최소한의 레이블링 데이터로도 정보 밀도가 높고 자연스러운 어조의 설명을 효율적으로 생성할 수 있다.
• 연구 설계는 NASA-TLX와 자동화에 대한 신뢰(TiA) 설문지를 활용하여 인지 부담과 신뢰를 정량적으로 평가하며, 반구조화된 인터뷰를 통한 정성적 피드백을 통해 이관 조건의 순위를 매긴다.