[논문 리뷰] Probabilistic Model Checking for Complex Cognitive Tasks -- A case study in human-robot interaction

Sebastian Junges, Nils Jansen외 2명|arXiv (Cornell University)|2016. 10. 28.

Formal Methods in Verification참고 문헌 18인용 수 7

한 줄 요약

이 논문은 인간-로봇 상호작용에서 최적의 로봇 정책을 합성하기 위해 확률적 모델 체크를 제안하며, 가중치가 부여된 Q-테이블과 과도하게 제약이 없는 MDP를 통해 인간 행동을 모델링한다. 인간과 로봇 모델을 하나의 확률적 게임으로 통합하여 PRISM-Games를 사용해 로봇 전략의 검증과 합성을 가능하게 하며, 상태공간 폭발 문제에도 불구하고 격자 세계 시나리오에서의 실험적 검증을 통해 타당성을 입증한다.

ABSTRACT

This paper proposes to use probabilistic model checking to synthesize optimal robot policies in multi-tasking autonomous systems that are subject to human-robot interaction. Given the convincing empirical evidence that human behavior can be related to reinforcement models, we take as input a well-studied Q-table model of the human behavior for flexible scenarios. We first describe an automated procedure to distill a Markov decision process (MDP) for the human in an arbitrary but fixed scenario. The distinctive issue is that -- in contrast to existing models -- under-specification of the human behavior is included. Probabilistic model checking is used to predict the human's behavior. Finally, the MDP model is extended with a robot model. Optimal robot policies are synthesized by analyzing the resulting two-player stochastic game. Experimental results with a prototypical implementation using PRISM show promising results.

연구 동기 및 목표

• 복잡한 인간-로봇 상호작용 시나리오에서 로봇 정책의 형식적 검증과 합성을 가능하게 하기 위해.
• 강화학습 및 역강화학습에서 유도된 가중치가 부여된 Q-테이블을 활용해 인간 행동을 모델링하기 위해.
• 실세계의 불확실성을 반영하기 위해 인간 행동 모델에 과도하게 제약이 없는 사양을 통합하기 위해.
• 인간 MDP를 로봇 모델과 함께 확장하여 양자택일적 또는 협력적 의사결정 과정으로 모델링된 이중 플레이어 확률적 게임으로 확장하기 위해.
• PRISM 및 PRISM-Games를 사용해 시각-운동 작업에서의 접근법을 평가하며, 확장성 및 검증 과제를 해결하기 위해.

제안 방법

• 가중치가 부여된 Q-테이블과 시나리오에 특화된 파라미터에서 자동으로 마르코프 결정 과정(MDP)을 생성하여, 인간 행동을 확률적 전이로 표현하기 위해.
• PRISM, StORM, iscasMc를 사용해 인간 행동 성질(예: 도달 가능성 및 기대 보상)을 검증하기 위해 확률적 모델 체크를 수행하기 위해.
• 인간 MDP에 로봇 MDP를 통합하여 이중 플레이어 확률적 게임(SG)을 형성하고, 인간-로봇 상호작용을 경쟁적 또는 협력적 의사결정 과정으로 모델링하기 위해.
• PRISM-Games를 사용해 최적의 로봇 정책을 합성하며, 최소-최대 도달 가능성과 유한 시간 계획 수립에 중점을 두기 위해.
• 기호적 모델 체크(MTBDDs)를 사용해 모델 복잡성을 줄이고, 협력 기반 추상화를 통해 과도하게 제약이 없는 사양을 분석하기 위해.
• 민감도 분석 및 모델 추상화 기법을 적용해 상태공간 폭발 문제를 완화하고 확장성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 Q-테이블에서 유도된 인간 행동 모델을 복잡하고 다중 작업 시나리오에서 효과적으로 검증하기 위해 확률적 모델 체크가 유용한가?
• RQ2 인간 행동 모델의 과도하게 제약이 없는 사양이 최적의 로봇 정책 합성에 어떤 영향을 미치는가?
• RQ3 큰 상태공간을 가진 확률적 게임으로 인간-로봇 상호작용을 모델링할 때의 확장성 한계는 무엇인가?
• RQ4 Q-테이블 파라미터의 변동성과 소프트맥스 기반의 확률적 성격이 인간 행동 예측에 어떤 영향을 미치는가?
• RQ5 기호적 모델 체크 및 추상화 기법이 인간-로봇 상호작용 검증에서 상태공간 폭발 문제를 완화할 수 있는가?

주요 결과

• Q-테이블과 IRL 가중치를 기반으로 한 인간 행동 모델은 진전 페널티가 없기 때문에 파도 모양의 보행 패턴을 예측하며, 이는 구조적 개선이 필요함을 시사한다.
• 경계 처리가 없기 때문에 격자 외부로 이탈할 가능성이 상당히 높아, 원래 Q-테이블에서 심각한 과도하게 제약이 없는 사양이 드러난다.
• 과도하게 제약이 없는 행동은 매우 다양한 행동 결과를 초래하며, 이는 분석 시 모델 내 해결 전략을 명시적으로 고려해야 함을 보여준다.
• $8\times8$ 격자 시나리오는 $1.6\cdot10^7$개의 상태를 가진 확률적 게임을 생성하였으며, 구성에 20시간 이상, 도달 가능성 분석에 3시간이 소요되었다.
• 기호적 모델 체크를 통해 $11\times11$ 격자에 대한 MDP는 191,290개의 MTBDD 노드로 줄여, 500회 반복을 통해 4시간 내에 분석이 가능해졌다.
• 유한 시간 계획 수립은 첫 100회 반복 내에서 40분 이내에 수렴하여 안정적인 스케줄러를 도출하였다.