[논문 리뷰] Egocentric Basketball Motion Planning from a Single First-Person Image

Gedas Bertasius, Aaron Chan외 1명|arXiv (Cornell University)|2018. 03. 04.

Human Pose and Action Recognition참고 문헌 24인용 수 6

한 줄 요약

이 논문은 단일 1인칭 이미지에서 3D 플레이어 위치와 머리 방향의 12차원 궤적을 예측함으로써 실제적인 1인칭 농구 운동 시퀀스를 생성하는 새로운 비지도 딥러닝 프레임워크를 제안한다. 이는 초기 운동 예측을 위해 미래 컨볼루션 신경망을 사용하고, 목표 검증기와 역합성 최적화를 결합하여 RNN, LSTM 및 GAN과 비교해 뛰어난 현실성과 목표 일치도를 달성한다.

ABSTRACT

We present a model that uses a single first-person image to generate an egocentric basketball motion sequence in the form of a 12D camera configuration trajectory, which encodes a player's 3D location and 3D head orientation throughout the sequence. To do this, we first introduce a future convolutional neural network (CNN) that predicts an initial sequence of 12D camera configurations, aiming to capture how real players move during a one-on-one basketball game. We also introduce a goal verifier network, which is trained to verify that a given camera configuration is consistent with the final goals of real one-on-one basketball players. Next, we propose an inverse synthesis procedure to synthesize a refined sequence of 12D camera configurations that (1) sufficiently matches the initial configurations predicted by the future CNN, while (2) maximizing the output of the goal verifier network. Finally, by following the trajectory resulting from the refined camera configuration sequence, we obtain the complete 12D motion sequence. Our model generates realistic basketball motion sequences that capture the goals of real players, outperforming standard deep learning approaches such as recurrent neural networks (RNNs), long short-term memory networks (LSTMs), and generative adversarial networks (GANs).

연구 동기 및 목표

• 인간의 의사결정 과정을 단순히 1인칭 시각 입력만을 사용하여 모델링하고, 비용이 많이 드는 레이블링된 행동 데이터에 의존하지 않도록 하는 것.
• 실제 플레이어의 목표, 예를 들어 골로 향해 달리기나 슛을 시도하는 것과 같은 행동을 반영하는 타당한 1인칭 운동 시퀀스를 생성하는 것.
• 비지도 방식으로 원시 1인칭 영상 데이터에서 학습할 수 있는 방법을 개발하여 행동 모델링에 광범위하게 적용할 수 있도록 하는 것.
• 학습된 목표 검증 네트워크를 통해 목표 지향적 제약 조건을 통합함으로써 운동 시퀀스의 현실성을 향상시키는 것.
• 이 프레임워크가 농구를 초월해 로봇 공학 및 선수 훈련 등 다양한 분야에 일반화될 수 있음을 보여주는 것.

제안 방법

• 단일 1인칭 이미지에서 3D 플레이어 위치와 3D 머리 방향의 초기 12차원 궤적을 예측하기 위해 미래 컨볼루션 신경망(CNN)을 훈련한다.
• 실제 농구 플레이어의 최종 목표, 예를 들어 골을 향해 바라보는 것과 같은 조건에서 주어진 카메라 설정이 얼마나 일치하는지 평가하기 위해 목표 검증 네트워크를 훈련한다.
• 초기 예측에서의 편차를 최소화하면서 목표 검증 네트워크의 출력을 최대화하는 방식으로 최적화된 12차원 궤적을 도출하기 위해 역합성 절차를 적용한다.
• 최종 운동 시퀀스는 최적화된 궤적을 따라 생성되며, 이는 타당성과 목표 지향적 행동을 모두 보장한다.
• 모델은 인간이 레이블링한 운동 레이블이 필요 없이 오직 1인칭 영상 데이터만을 사용해 엔드 투 엔드로 비지도 방식으로 훈련된다.
• 생성된 시퀀스를 실제 훈련 데이터와 비교하기 위해 12차원 카메라 공간 내에서 최근접 이웃 검색을 사용한다.

실험 결과

연구 질문

• RQ1 인간이 레이블링한 행동 데이터 없이 단일 1인칭 이미지로 실제적인 1인칭 운동 시퀀스를 생성할 수 있는가?
• RQ2 모델이 운동뿐 아니라 골을 향해 목표를 정하는 행동, 예를 들어 골을 향해 바라보는 행동을 어떻게 학습할 수 있는가?
• RQ3 목표 검증 네트워크가 생성된 운동 시퀀스의 현실성과 임무 관련성에 얼마나 기여하는가?
• RQ4 역합성 절차는 초기 운동 예측과 목표 일치도 사이에서 어떻게 균형을 이루는가?
• RQ5 이 프레임워크는 농구를 초월해 다른 1인칭 행동에도 일반화될 수 있는가?

주요 결과

• 질적 및 정량적 비교를 통해 표준 RNN, LSTM 및 GAN과 비교해 제안된 모델이 더 현실적이고 목표 지향적인 운동 시퀀스를 생성하는 것으로 확인되었다.
• 목표 검증 네트워크의 통합으로 최종 운동 프레임의 현실성이 크게 향상되었으며, 생성된 시퀀스가 벽이나 바닥 대신 점점 골을 향해 집중하는 경향을 보였다.
• 시각화 결과 모델이 예측한 궤적은 수비수와의 충돌을 피하고 골 쪽으로 수렴하는 경향을 보이며 실제 플레이어 행동을 반영하고 있음을 보여주었다.
• 미래 CNN의 특징 맵은 수비수 자세와 열린 코트 공간에 주목하고 있음을 나타내어, 모델이 관련 있는 의사결정 정보를 학습하고 있음을 시사한다.
• 최근접 이웃 검색 결과는 생성된 시퀀스가 훈련 데이터 내 실제 플레이어 시퀀스와 의미적·시각적으로 유사함을 확인했다.
• 영상 결과는 생성된 운동 시퀀스가 부드럽고 일관되며 시간적으로 타당하며 자연스러운 동작 전환을 보임을 보여주었다.