[논문 리뷰] Explain Yourself: A Natural Language Interface for Scrutable Autonomous Robots

Francisco J. Chiyah Garcia, David A. Robb외 4명|arXiv (Cornell University)|2018. 03. 06.

Topic Modeling참고 문헌 10인용 수 18

한 줄 요약

이 논문은 원격 자율 주행 차량이 말하기 방식을 통해 실시간으로 인간이 애너테이션한 설명을 제공할 수 있도록 하는 자연어 인터페이스인 MIRIAM을 제안한다. 전문가의 언어적 설명에서 해석 가능한 자율성 모델을 유도함으로써, 시스템은 템플릿 기반 자연어 생성을 통해 맥락 인식형이고 신뢰도 순서가 매겨진 설명을 생성하며, 이는 고위험 영역에서의 운영에서 투명성과 신뢰를 향상시킨다.

ABSTRACT

Autonomous systems in remote locations have a high degree of autonomy and there is a need to explain what they are doing and why in order to increase transparency and maintain trust. Here, we describe a natural language chat interface that enables vehicle behaviour to be queried by the user. We obtain an interpretable model of autonomy through having an expert 'speak out-loud' and provide explanations during a mission. This approach is agnostic to the type of autonomy model and as expert and operator are from the same user-group, we predict that these explanations will align well with the operator's mental model, increase transparency and assist with operator training.

연구 동기 및 목표

• 고위험 환경에서 운영되는 원격 자율 주행 차량(AxVs)에서의 투명성과 신뢰의 부족을 해결하기 위해.
• 운영자가 실시간으로 차량 행동을 질의할 수 있는 자연어 인터페이스를 개발하기 위해.
• 전문가의 언어적 설명을 통해 운영자 정서 모델과 일치하는 해석 가능한 자율성 모델을 구축하기 위해.
• 임무 모니터링 중 운영자의 상황 인식 능력을 향상시키고 인지 부담을 감소시키기 위해.
• 자율 시스템의 설명 생성에서 완전성과 타당성 사이의 트레이드오프를 평가하기 위해.

제안 방법

• 전문가들이 SeeTrack 인터페이스를 사용해 임무 재생 중 자율 주행 차량 행동에 대한 '말하기로 설명'하는 과정을 수행한다.
• 전문가 설명에서 유도된 决定트리 모델을 구성하여 자율성 논리를 표현하며, '왜'와 '왜 아닐까'의 추론을 포괄한다.
• 현재 임무 상태와 이력 정보를 결정트리에 매핑하여 신뢰도 수준이 함께 부여된 관련 설명을 검색한다.
• 템플릿 기반 자연어 생성(NLG)을 사용해 설명을 생성하며, 어휘는 세 가지 신뢰도 수준에 따라 달라진다: 높음(80% 이상), 중간(40–80%), 낮음(40% 미만).
• MIRIAM 인터페이스는 Neptune 자율성 소프트웨어와 SeeTrack 시각화 도구에 통합되어 다중 모odal 상호작용을 가능하게 한다.
• 이 접근법은 기반 자율성 모델에 관계없이 적용 가능하여, 규칙 기반 시스템과 딥 러닝과 같은 복잡한 모델 모두를 지원한다.

실험 결과

연구 질문

• RQ1 자율 주행 차량은 어떻게 원격 운영자에게 요구 시 맥락 인식형 행동 설명을 제공할 수 있는가?
• RQ2 전문가가 생성한 설명은 원격 자율 운영 환경에서 운영자 정서 모델과 얼마나 잘 일치하는가?
• RQ3 고위험 운영 환경에서 설명의 완전성과 신뢰도(타당성) 사이의 최적의 균형은 무엇인가?
• RQ4 신뢰도 수준 표시어(예: '가능성 있음', '확률 높음')는 사용자의 신뢰도와 시스템 신뢰성 인식에 어떤 영향을 미치는가?
• RQ5 인간 애너테이션된 해석 가능한 자율성 모델은 다양한 자율성 아키텍처에서 자연어 설명을 효과적으로 생성하는 데 사용될 수 있는가?

주요 결과

• MIRIAM 시스템은 전문가가 제공한 설명을 기반으로 맥락에 민감하고 신뢰도 순서가 매겨진 설명을 성공적으로 생성한다.
• 임무 상태가 변화함에 따라 설명이 동적으로 갱신되며, 더 많은 데이터가 확보된 후반부에 높은 신뢰도의 응답이 나타난다.
• 동일한 행동에 대해 다양한 신뢰도 수준을 가진 여러 이유를 제공함으로써 실시간 의사결정에서의 불확실성을 반영할 수 있다.
• 시스템은 전문가의 언어적 설명에서 도출된 설명이 운영자 정서 모델과 잘 일치함을 입증하며, 투명성을 향상시킨다.
• 사용자 피드백에 따르면, 구두로 표현된 신뢰도 지표(예: '가능성 있음')는 고위험 상황에서 신뢰를 감소시킬 수 있으며, 이는 다른 표현 방식의 필요성을 시사한다.
• 이 접근법은 기반 자율성 모델에 관계없이 적용 가능하여, 규칙 기반 및 복잡한 딥 러닝 시스템 모두에 적용 가능함을 입증한다.