[논문 리뷰] Generating Long-term Trajectories Using Deep Hierarchical Networks

Stephan Zheng, Yisong Yue외 1명|arXiv (Cornell University)|2017. 06. 21.

Sports Analytics and Performance인용 수 72

한 줄 요약

이 논문은 주의 집중(attention) 메커니즘으로 거시적 목표와 미시적 행동을 함께 모델링하는 계층형 정책 네트워크를 제시하여 농구의 현실적인 장기 궤적 생성을 가능하게 하며 비계층적 baselines보다 성능이 우수하다. 거시적 목표를 도입하면 장기 계획 및 단기 행동 예측이 개선됨을 보여준다.

ABSTRACT

We study the problem of modeling spatiotemporal trajectories over long time horizons using expert demonstrations. For instance, in sports, agents often choose action sequences with long-term goals in mind, such as achieving a certain strategic position. Conventional policy learning approaches, such as those based on Markov decision processes, generally fail at learning cohesive long-term behavior in such high-dimensional state spaces, and are only effective when myopic modeling lead to the desired behavior. The key difficulty is that conventional approaches are "shallow" models that only learn a single state-action policy. We instead propose a hierarchical policy class that automatically reasons about both long-term and short-term goals, which we instantiate as a hierarchical neural network. We showcase our approach in a case study on learning to imitate demonstrated basketball trajectories, and show that it generates significantly more realistic trajectories compared to non-hierarchical baselines as judged by professional sports analysts.

연구 동기 및 목표

• 고차원 시공간 설정에서 장기 궤적 모델링의 필요성을 제시한다.
• 매크로 목표를 미시 행동과 분리하는 계층형 정책 클래스를 제안한다.
• 주목 메커니즘이 매크로 목표를 통해 미시 행동을 안내하는 계층형 신경망으로 정책을 구체화한다.
• 전문가 수준의 농구 궤적 모방에서 접근법을 평가하고 비계층적 기준선 및 실제 정답과 비교한다.

제안 방법

• 시간에 걸쳐 매크로 목표 g와 미시 행동 a를 포함하는 이중 시간척도 정책 프레임워크를 정의한다.
• 원시 미시 행동 u를 모델링하고 비선형 전달 및 합성 함수를 사용해 u와 매크로 목표 g로부터 미시 행동 a를 합성한다 (a = ψ(u, φ(g))).
• 매크로 목표 지침을 미시 행동 분포에 통합하기 위해 Hadamard 곱을 통한 주의 메커니즘을 구현한다 (P(a|u,g) 은 P(raw)(u) 및 P(macro)(g) 를 통해).
• 학습의 계산 가능성을 높이기 위해 상태 공간과 목표 공간을 이산화하고, 1-hot 코트 점유 표현 및 조잡한 매크로 목표를 사용한다.
• 매크로 및 미시 정책을 합성곱 순환 네트워크로 구성하고 매크로 목표를 향해 미시 행동을 이끄는 주의 모듈을 포함시킨다.
• 약한 라벨을 사용하여 매크로 목표를 얻고 다중 단계로 계층적 네트워크를 학습한 뒤 끝까지 엔드투엔드로 미세 조정한다.

실험 결과

연구 질문

• RQ1 계층형 정책이 매크로 목표와 미시 행동을 분리할 때 단순한 정책보다 더 현실적인 장기 궤적을 생성할 수 있는가?
• RQ2 매크로 목표와 미시 행동 간의 주의 기반 상호작용이 장기 계획 및 단기 행동 정확도 모두를 향상시키는가?
• RQ3 모델이 비계층적 기준선 및 실제 정답과 비교하여 실제 전문가의 궤적 데이터에서 어떤 성능을 보이는가?
• RQ4 약한 매크로 목표 라벨이 학습 및 롤아웃 품질에 어떤 영향을 미치는가?

주요 결과

• 계층형 정책 네트워크(HPN)는 매크로 목표를 향한 더 긴 범위의 계획과 더 현실적인 곡선 궤적을 포함한 롤아웃을 생성한다.
• HPN-주의는 비계층적 기준선에 비해 4-스텝 예측에서 미시 행동 예측 정확도를 향상시킨다.
• 대다수의 비교에서 인간 전문가가 HPN 롤아웃을 기준선보다 선호하며 HPN을 실제 정답 궤적과 경쟁력 있는 수준으로 본다.
• 사전 학습에서 사용된 약한 매크로 목표 라벨은 일부 단기 예측 정확도 손실의 대가로 장기 롤아웃 품질을 향상시킬 수 있다.
• 모델은 매크로 목표가 주의 메커니즘을 통해 미시 플래너를 안내하는 해석 가능한 다이내믹스를 제공한다.