[논문 리뷰] Probabilistic programs for inferring the goals of autonomous agents

Marco Cusumano-Towner, Alexey Radul외 2명|arXiv (Cornell University)|2017. 04. 17.

AI-based Problem Solving and Planning참고 문헌 14인용 수 8

한 줄 요약

이 논문은 랜덤화된 경로 계획 알고리즘을 생성 모델로 사용하여 자율 에이전트의 목표를 추론하기 위한 확률적 프로그래밍 프레임워크를 제안한다. likelihood-free 몬테카를로 추론 기법—연쇄적 재시뮬레이션과 신경망을 통한 가능도 추정을 통한 내재 추론—을 도입함으로써, 복잡한 환경에서 효율적이고 확장 가능한 목표 추론을 가능하게 하며, 예제당 50줄 이내의 코드로도 구현할 수 있다.

ABSTRACT

Intelligent systems sometimes need to infer the probable goals of people, cars, and robots, based on partial observations of their motion. This paper introduces a class of probabilistic programs for formulating and solving these problems. The formulation uses randomized path planning algorithms as the basis for probabilistic models of the process by which autonomous agents plan to achieve their goals. Because these path planning algorithms do not have tractable likelihood functions, new inference algorithms are needed. This paper proposes two Monte Carlo techniques for these "likelihood-free" models, one of which can use likelihood estimates from neural networks to accelerate inference. The paper demonstrates efficacy on three simple examples, each using under 50 lines of probabilistic code.

연구 동기 및 목표

• 실세계 환경에서 부분적인 운동 관찰로부터 미관측된 자율 에이전트의 목표를 추론하는 문제에 대응하기 위해.
• 기존 최적 제어 및 MDP 기반 접근법의 한계를 극복하기 위해, 이는 작업에 특화된 엔지니어링이 많이 필요하고 확장성이 떨어지기 때문이다.
• 에이전트를 랜덤화된 경로 계획기로 실행하는 것으로 모델링함으로써, 확장 가능하고 유연한 목표 추론을 가능하게 하기 위해.
• 복잡한, 오래된, 또는 최적화된 경로 계획기에서 유래하는 추정이 불가능한 가능도를 가진 모델을 위한 효율적 추론 알고리즘을 개발하기 위해.
• 짧은 확률적 프로그램이 인간의 운동과 다중 에이전트 협업을 포함한 다양한 시나리오에서 의미 있는 목표 추론을 달성할 수 있음을 보여주기 위해.

제안 방법

• 에이전트 행동의 생성 과정으로 랜덤화된 경로 계획 알고리즘(예: RRT 기반 에이전트 경로)을 사용하여, 복잡한 환경의 효율적 탐색을 가능하게 한다.
• 기존의 최적화된 또는 레거시 경로 계획기를 블랙박스 함수로 간주하여, 이를 확률적 프로그래밍 언어로 재작성할 필요 없이 사용한다.
• 알 수 없는 가능도를 상쇄시키기 위해 내부 랜덤 선택을 동시에 제안하는 연쇄적 재시뮬레이션 메트로폴리스-하스팅스 방법을 도입한다.
• 신경망을 통한 가능도 추정을 통한 내재 추론을 제안하여 고급 몬테카를로 및 변분 추론 기법의 사용을 가능하게 한다.
• 베이지안 플랫폼인 Venture를 활용해 계층적 확률적 프로그램을 사용하여 복잡한 목표 사전분포, 부분 관측된 환경, 다중 에이전트 상호작용을 모델링한다.
• 확률적 프로그래밍 구조를 활용하여 다양한 목표 추론 문제에 대해 최소한의 코드로 모델링과 추론을 통합한다.

실험 결과

연구 질문

• RQ1 빠르고 랜덤화된 경로 계획기들을 생성 모델로 사용하여 확률적 프로그램이 목표 지향적 행동을 효과적으로 모델링할 수 있는가?
• RQ2 경로 계획기의 내부 랜덤 선택으로 인해 가능도가 추정이 불가능한 모델에서 효율적인 추론을 어떻게 수행할 수 있는가?
• RQ3 likelihood-free 모델에서 신경망을 사용해 가능도를 추정하여 추론 속도를 높일 수 있는가?
• RQ4 50줄 이내의 짧은 확률적 프로그램이 실세계 시나리오에서 정확한 목표 추론을 달성할 수 있는 정도는 어느 정도인가?
• RQ5 인간의 판단과 비교했을 때 모델이 추론한 목표 공유 확률은 자연스러운 운동 시퀀스에서 어떻게 다른가?

주요 결과

• 연쇄적 재시뮬레이션 메트로폴리스-하스팅스 알고리즘이 내부 랜덤 선택을 동시에 제안함으로써 가능도가 없는 모델에서 유효한 몬테카를로 샘플링을 수행함을 입증하였다.
• 신경망을 통한 가능도 추정을 통한 내재 추론은 고급 추론 기법의 사용을 가능하게 하여, 복잡한 모델에서 수렴 속도를 크게 향상시켰다.
• 짧은 인간 운동 시퀀스에 대해서는 공통 목표일 확률이 63%로 추정되었으며, 시퀀스가 연장될수록 82%로 증가하여 더 많은 데이터에서 신뢰도가 향상됨을 보였다.
• 인간의 판단과 모델의 추론이 정성적으로 일치하여, 인간의 직관적 사고와의 일치를 시사하였다.
• 각각 50줄 이내의 확률적 코드로 단일 에이전트 주행, 다중 에이전트 협업, 인간 운동 세 가지 다른 시나리오에서 효과적인 목표 추론을 성공적으로 수행하였다.
• 이러한 접근법은 복잡한 환경으로 확장 가능하며, 계층적 목표 사전분포, 부분 관측된 지도, 다중 에이전트 상호작용을 통합된 확률적 프로그래밍 인터페이스를 통해 지원한다.