[논문 리뷰] Nested Reasoning About Autonomous Agents Using Probabilistic Programs

Iris Rubi Seaman, Jan-Willem van de Meent외 1명|arXiv (Cornell University)|2018. 12. 04.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 6

한 줄 요약

이 논문은 높은 불확실성의 추격-도피 게임에서 자율 에이전트가 이론적 마음 이론 추론을 수행할 수 있도록 하는 내재된 확률적 프로그래밍을 사용하는 계획-인ference 프레임워크를 제안한다. 추격자와 도주자를 상호의 사고를 내재된 중요도 샘플링을 통해 시뮬레이션하는 확률적으로 조건화된 에이전트로 모델링함으로써, 이 접근법은 이성적이고 역계획화하는 행동을 달성하고, 사고 수준 간 최적의 계산 예산 할당을 통해 추정기 분산을 감소시킨다.

ABSTRACT

As autonomous agents become more ubiquitous, they will eventually have to reason about the plans of other agents, which is known as theory of mind reasoning. We develop a planning-as-inference framework in which agents perform nested simulation to reason about the behavior of other agents in an online manner. As a concrete application of this framework, we use probabilistic programs to model a high-uncertainty variant of pursuit-evasion games in which an agent must make inferences about the other agents' plans to craft counter-plans. Our probabilistic programs incorporate a variety of complex primitives such as field-of-view calculations and path planners, which enable us to model quasi-realistic scenarios in a computationally tractable manner. We perform extensive experimental evaluations which establish a variety of rational behaviors and quantify how allocating computation across levels of nesting affects the variance of our estimators.

연구 동기 및 목표

• 부분 관찰 가능하고 높은 불확실성 환경에서 자율 에이전트가 다른 에이전트의 의도와 계획을 추론할 수 있는 프레임워크를 개발하는 것.
• 시간에 따라 변화하는 방식으로 마음 이론을 모델링하여 온라인 의사결정 과정에서 상대방의 믿음과 행동에 대한 재귀적 추론을 가능하게 하는 것.
• 내재된 사고 수준 간 계산 예산 할당이 추정기 분산과 탐지 성능에 미치는 영향을 평가하는 것.
• 내재된 베이지안 추론이 비내재된 모델에 비해 추격-도피 과제에서 더 이성적이고 효과적인 행동을 이끌어내는지 보여주는 것.

제안 방법

• 계획-인퍼런스를 사용하여 추격자와 도주자를 각각 탐지 가능성 확률을 최대화하고 최소화하도록 조건화된 확률적 프로그램으로 설정한다.
• 다중 수준의 에이전트 사고에 대한 재귀적 추론을 수행하기 위해 내재된 중요도 샘플링을 활용하여 연속 동작을 포함한 계산 가능한 온라인 계획을 가능하게 한다.
• RRT 경로 계획기 및 이소비스트 기반의 시야 계산과 같은 반실제적인 결정론적 프리미티브를 확률적 모델에 통합한다.
• 브레멘의 포인트 클라우드 데이터에서 유도된 거친 다각형 도시 지도를 사용하여 현실적인 환경 제약 조건을 시뮬레이션한다.
• 시간과 예산 설정에 따라 중요도 샘플링 가중치의 분산을 평가하기 위해 유효 표본 수(Ess) 정규화를 적용한다.
• 계산 예산(K, L)을 다양하게 설정하여 추정기 안정성과 성능 간의 트레이드오프를 평가하기 위해 광범위한 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 자율 에이전트는 부분 관찰 가능하고 높은 불확실성 환경에서 다른 에이전트의 계획에 대해 어떻게 내재된 사고를 수행할 수 있는가?
• RQ2 내재된 사고 수준 간 계산 자원 할당이 기대 효용 추정기의 분산에 어떤 영향을 미치는가?
• RQ3 내재된 베이지안 추론은 비내재된 모델에 비해 추격-도피 게임에서 더 이성적이고 효과적인 행동을 이끌어낼 수 있는가?
• RQ4 모델 복잡도와 추론 품질은 현실적이고 연속 동작 기반의 추격-도피 설정에서 탐지율에 어떤 영향을 미치는가?

주요 결과

• 내재된 확률적 프로그래밍 프레임워크는 추격자와 도주자 양 측 모두에서 이성적이고 역계획화하는 행동을 성공적으로 생성하였으며, 추격자는 추론된 도주자 의도에 따라 전략을 조정한다.
• 사고의 사고를 포함하는 모델 복잡도를 증가시키면 비내재된 모델에 비해 탐지율이 크게 향상된다.
• 추격자 가중치의 유효 표본 수(Ess)는 시간이 지남에 따라 증가하며, 이는 추정이 추격 확률이 낮아지는 에피소드 후반으로 갈수록 더 쉬워짐을 시사한다.
• 더 많은 샘플이 가장 바깥쪽(추격자) 모델에 할당될 경우 기대 효용 추정기의 분산이 감소하며, 특히 (K,L) = (16,128)와 같은 설정에서 더 나은 추정기 강건성을 확보함을 나타낸다.
• 추격자에 대한 로그 평균 가중치는 예상대로 시간이 지남에 따라 감소하며, 이는 감소하는 탐지 확률을 반영한다. 반면 도주자 가중치는 비교적 안정되어 있다.
• 박스 플롯 분석 결과, 낮은 K와 높은 L 값은 더 강건한 로그 가중치와 더 적은 이상치를 제공함을 확인하여, 바깥쪽 모델에 더 많은 계산을 할당하는 것이 유리함을 뒷받침한다.