[논문 리뷰] Modeling Human Understanding of Complex Intentional Action with a Bayesian Nonparametric Subgoal Model

Ryo Nakahashi, Chris L. Baker외 1명|arXiv (Cornell University)|2015. 12. 03.

Child and Animal Learning Development참고 문헌 15인용 수 3

한 줄 요약

이 논문은 관찰된 복잡한 행동들로부터 계층적인 행동 구조를 추론하기 위해 알려지지 않은 하위목표 시퀀스 위에서 약간의 합리성 있는 계획을 가정하는 베이지안 비모수 하위목표 모델을 제안한다. 이 모델은 인간의 하위목표 추론을 정확하게 예측하며, 행동 실험과 인공 사용자 보조 과제에서 모든 대안보다 뛰어난 성능을 보이며, 더 적은 관측치로도 더 빠르고 안정적이며 정확도가 높은 지원을 가능하게 한다.

ABSTRACT

Most human behaviors consist of multiple parts, steps, or subtasks. These structures guide our action planning and execution, but when we observe others, the latent structure of their actions is typically unobservable, and must be inferred in order to learn new skills by demonstration, or to assist others in completing their tasks. For example, an assistant who has learned the subgoal structure of a colleague's task can more rapidly recognize and support their actions as they unfold. Here we model how humans infer subgoals from observations of complex action sequences using a nonparametric Bayesian model, which assumes that observed actions are generated by approximately rational planning over unknown subgoal sequences. We test this model with a behavioral experiment in which humans observed different series of goal-directed actions, and inferred both the number and composition of the subgoal sequences associated with each goal. The Bayesian model predicts human subgoal inferences with high accuracy, and significantly better than several alternative models and straightforward heuristics. Motivated by this result, we simulate how learning and inference of subgoals can improve performance in an artificial user assistance task. The Bayesian model learns the correct subgoals from fewer observations, and better assists users by more rapidly and accurately inferring the goal of their actions than alternative approaches.

연구 동기 및 목표

• 사람들이 의도적인 행동 시퀀스로부터 잠재적인 하위목표 구조를 어떻게 추론하는지 모델링하는 것.
• 비모수 베이지안 방법을 사용하여 계층적 계획과 합리적인 행동 추론을 포괄하는 계산 프레임워크를 개발하는 것.
• 이 모델이 인간의 하위목표 추론을 대안 모델들과 히وري스틱보다 더 정확하게 예측할 수 있는지 테스트하는 것.
• 이 모델이 실시간으로 하위목표를 학습하고 사용자를 지원하는 인공 사용자 보조 과제에서 얼마나 유용한지 평가하는 것.
• 하위목표 추론이 최소한의 훈련 데이터로도 더 빠르고 안정적인 지원을 가능하게 하는지 보여주는 것.

제안 방법

• 모델은 행동들이 알려지지 않은 하위목표 시퀀스 위에서 약간의 합리성 있는 계획에 의해 생성되는 계층적 마르코프 결정 과정(MDP)을 사용한다.
• 하위목표 시퀀스는 딜레르트 프로세스 사전확률을 사용하여 모델링되어 하위목표의 수와 구성에 대한 비모수 추론이 가능해진다.
• 관측된 행동 시퀀스로부터 하위목표 시퀀스의 수와 구조를 동시에 추론하기 위해 맞춤형 마르코프 체인 몬테카를로(MCMC) 방법을 사용한다.
• 역계획을 통해 합리성 제약 조건을 통합하여, 목적지와 하위목표 시퀀스에 대한 사후 확률을 베이지안 추론을 통해 계산한다.
• 사용자 보조를 위해, 모델은 소수의 시연로부터 하위목표 구조를 학습하고, 진행 중인 부분적 행동 시퀀스를 예측 및 지원하는 데 사용한다.
• 성능 평가에서는 보조자가 하위목표를 추론하고 사용자를 지원하는 협업 과제를 수행하며, 행동 비용에 대한 보상이 부과된다.

실험 결과

연구 질문

• RQ1 사람들은 복잡한 행동 시퀀스에서 하위목표의 수와 구성을 어떻게 추론하는가?
• RQ2 계층적 계획을 가진 베이지안 비모수 모델이 대안 모델보다 인간의 하위목표 추론을 더 정확하게 예측할 수 있는가?
• RQ3 하위목표 추론은 인공 사용자 보조 과제에서 성능을 어느 정도 향상시키는가?
• RQ4 훈련 시퀀스의 수가 늘어남에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 제한된 데이터 조건에서도 모델의 하위목표 추론은 안정적이고 신뢰할 수 있는가?

주요 결과

• 베이지안 비모수 하위목표 모델은 인간의 하위목표 추론을 매우 높은 정확도로 예측하였으며, 대안 모델들과 히وري스틱보다 유의미하게 뛰어난 성능을 보였다.
• 단 두 개 이상의 입력 시퀀스만으로도 이 모델은 지상 진실(Ground-truth) 수준의 성능을 달성하여 뛰어난 데이터 효율성을 입증하였다.
• 반복 시험 동안에도 모델의 성능은 안정적이었으며, 변동성이 매우 낮았고, 대비되는 모델들은 입력 시퀀스의 변화에 따라 높은 불안정성을 보였다.
• 최소한의 훈련 데이터 조건에서도, 이 모델은 하위목표 지식이 없는 모델이나 고정된 하위목표 구조를 가진 모델보다 보조자가 사용자를 더 빠르고 정확하게 지원할 수 있도록 했다.
• 모델이 하위목표 경계와 계층적 구조를 추론할 수 있었기에 더 나은 일반화와 맥락 민감한 행동 이해가 가능했다.
• 비모수적 성격 덕분에, 사전 지정 없이도 모델은 정확한 하위목표 수와 그들의 순서를 학습할 수 있었으며, 이는 더 높은 유연성과 강건성을 향상시켰다.