[논문 리뷰] Policy learning with partial observation and mechanical constraints for multi-person modeling

Keisuke Fujii, Naoya Takeishi외 2명|arXiv (Cornell University)|2020. 07. 07.

Reinforcement Learning in Robotics참고 문헌 60인용 수 8

한 줄 요약

이 논문은 부분 관찰과 기계적 제약 조건을 순차적 생성 모델에 통합하여 생물학적으로 타당한 다중 인물 행동 모델링을 위한 탈중앙화된 다중 에이전트 성찰 학습 프레임워크를 제안한다. Gumbel-Softmax 재정의 기법과 계층적 변분 RNN을 결합함으로써, 행동 생성의 해석 가능성을 높이고 에이전트별 정보 사용을 시각화할 수 있으며, 농구와 축구 운동 데이터셋에서 향상된 행동 타당성을 달성한다.

ABSTRACT

Extracting the rules of real-world biological multi-agent behaviors is a current challenge in various scientific and engineering fields. Biological agents generally have limited observation and mechanical constraints; however, most of the conventional data-driven models ignore such assumptions, resulting in lack of biological plausibility and model interpretability for behavioral analyses in biological and cognitive science. Here we propose sequential generative models with partial observation and mechanical constraints, which can visualize whose information the agents utilize and can generate biologically plausible actions. We formulate this as a decentralized multi-agent imitation learning problem, leveraging binary partial observation models with a Gumbel-Softmax reparameterization and policy models based on hierarchical variational recurrent neural networks with physical and biomechanical constraints. We investigate the empirical performances using real-world multi-person motion datasets from basketball and soccer games.

연구 동기 및 목표

• 기존의 데이터 기반 다중 에이전트 모델에서의 생물학적 타당성과 해석 가능성 부족 문제를 해결하기 위해.
• 생물학적 및 인지 시스템에서 관찰되는 바와 같이 제한된 관찰과 기계적 제약 조건 하에서 실제 세계의 다중 에이전트 행동을 모델링하기 위해.
• 결정 과정에서 각 에이전트가 어떤 정보를 사용하는지 파악할 수 있는 탈중앙화된 성찰 학습 접근법을 개발하기 위해.
• 물리적이고 생체역학적으로 타당한 행동을 생성하면서도 관찰된 행동과 일관성을 유지하기 위해.
• 다양한 인물 간 상호작용에서 에이전트별로 정보를 어떻게 활용하는지 시각화함으로써 모델의 해석 가능성 향상하기 위해.

제안 방법

• 부분 관찰과 기계적 제약 조건 하에서 탈중앙화된 다중 에이전트 성찰 학습 문제로 문제를 정식화한다.
• 이산적 인지 소스에 대한 주의를 갖는 Gumbel-Softmax 재정의 기법을 사용한 이진 부분 관찰 모델을 도입하여 에이전트별 정보 접근을 모델링한다.
• 구조적이고 시간적으로 일관된 정책을 학습하기 위해 계층적 변분 순환 신경망(HVRNNs)을 활용한다.
• 물리적 및 생체역학적 제약 조건을 정책 네트워크에 통합하여 현실적인 운동 생성을 보장한다.
• 관찰된 궤적과 잠재 변수를 조건으로 하는 순차적 생성 모델링 프레임워크를 통합한다.
• 주의 및 잠재 공간 분석을 통해 에이전트별 정보 활용을 시각화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 성찰 학습에서 부분 관찰을 효과적으로 모델링하는 방법은 무엇인가? 이는 실제 세계의 에이전트 제약 조건을 반영하기 위해.
• RQ2 기계적 및 물리적 제약 조건이 생성된 행동의 생물학적 타당성에 어느 정도 기여하는가?
• RQ3 모델은 결정 과정에서 각 에이전트가 어떤 정보 원천을 사용하는지 식별하고 시각화할 수 있는가?
• RQ4 계층적 변분 RNN의 통합이 관찰 및 제약 조건 제한 하에서 정책 학습을 어떻게 향상시키는가?
• RQ5 실제 스포츠 운동 데이터셋에서 제안된 방법의 성능은 어떻게 되는가? 특히 현실적이고 해석 가능한 다인용 행동 생성 측면에서.

주요 결과

• 정책 학습 과정에서 기계적 및 물리적 제약 조건을 강제 적용함으로써, 생물학적으로 타당한 행동을 성공적으로 생성하였다.
• Gumbel-Softmax 재정의 기법을 활용함으로써 이산적 주의를 통해 부분 관찰을 효과적으로 모델링할 수 있었다.
• 계층적 변분 RNN은 다중 에이전트 환경에서 시간적 일관성과 정책 일반화 능력을 향상시켰다.
• 프레임워크는 에이전트별 정보 활용을 시각화할 수 있게 하여 모델의 해석 가능성을 높였다.
• 농구 및 축구 데이터셋에 대한 실험 결과, 제약 조건이 없는 기준 모델 대비 행동 타당성이 향상된 것으로 나타났다.
• 제한된 관찰과 물리적 제약 조건 하에서도 현실적인 다인용 상호작용을 생성하는 데 있어 높은 강건성을 보였다.