[논문 리뷰] Deep 360 Pilot: Learning a Deep Agent for Piloting through 360° Sports Video

Hou-Ning Hu, Yen-Chen Lin외 4명|arXiv (Cornell University)|2017. 05. 04.

Video Analysis and Summarization참고 문헌 52인용 수 13

한 줄 요약

이 논문은 실시간으로 최적의 시야 각도를 예측함으로써 360° 스포츠 영상을 자동으로 탐색하는 딥 강화학습 에이전트인 Deep 360 Pilot을 제안한다. 주목할 만한 대상 후보를 식별하기 위해 최신 기술의 객체 검출기를 사용하고, RNN을 통해 주요 객체를 선택하며, 정책 기반 강화학습을 통해 매끄러운 시야 각도 이동을 회귀함으로써 기존 방법인 AUTOCAM보다 뛰어난 정확도와 사용자 선호도를 달성한다.

ABSTRACT

Watching a 360° sports video requires a viewer to continuously select a viewing angle, either through a sequence of mouse clicks or head movements. To relieve the viewer from this "360 piloting" task, we propose "deep 360 pilot" -- a deep learning-based agent for piloting through 360° sports videos automatically. At each frame, the agent observes a panoramic image and has the knowledge of previously selected viewing angles. The task of the agent is to shift the current viewing angle (i.e. action) to the next preferred one (i.e., goal). We propose to directly learn an online policy of the agent from data. We use the policy gradient technique to jointly train our pipeline: by minimizing (1) a regression loss measuring the distance between the selected and ground truth viewing angles, (2) a smoothness loss encouraging smooth transition in viewing angle, and (3) maximizing an expected reward of focusing on a foreground object. To evaluate our method, we build a new 360-Sports video dataset consisting of five sports domains. We train domain-specific agents and achieve the best performance on viewing angle selection accuracy and transition smoothness compared to [51] and other baselines.

연구 동기 및 목표

• 빠르게 진행되는 스포츠 콘텐츠에서 시청자가 영상의 시야를 수시로 조정해야 하는 수동적 360° 영상 탐색의 부담을 완화하기 위해.
• 주목할 만한 객체를 선택하고 시야 각도를 매끄럽게 전환하는 방식으로 인간의 조종 행동을 모방하는 온라인 실시간 에이전트를 개발하기 위해.
• 360° 영상 재생 시 흔들림이나 급격한 카메라 이동으로 인한 시청자 불편을 줄이기 위해.
• 시각적 주목도와 시간적 맥락에 기반해 시야 각도를 선택하는 도메인 특화 에이전트를 훈련시켜 정확도와 인식 품질을 모두 향상시키기 위해.

제안 방법

• 각 파노라마 프레임에서 주목할 만한 후보 객체를 식별하기 위해 최신 기술의 객체 검출기를 사용하며, 이를 바운딩 박스로 표현한다.
• 공간적 및 시간적 맥락을 바탕으로 RNN이 후보 검출 결과에서 주요 객체를 선택한다.
• 현재 시야 기준으로 시야 각도의 이동을 회귀하기 위해, 정책 기반 강화학습을 통해 훈련된 가중치를 갖는 미분 가능한 회귀 헤드를 사용한다.
• 훈련 목표는 세 가지 구성 요소를 포함한다: 예측된 시야 각도와 진짜 각도 간의 회귀 손실, 진동을 줄이기 위한 매끄러움 손실, 그리고 전경 객체에 집중하도록 유도하는 보상 신호.
• 정확도, 매끄러움, 주목도를 균형 있게 고려하기 위해 정책 기반 강화학습 방법을 사용해 전체 파이프라인을 공동 최적화한다.
• 이 방법은 온라인으로 작동하며 현재 및 과거 프레임만에 의존하므로, 주목적 렌더링과 같은 스트리밍 애플리케이션에 적합하다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 인간의 조종 행동을 모방하면서 360° 스포츠 영상에서 최적의 시야 각도를 자동으로 선택할 수 있는가?
• RQ2 주목할 만한 객체를 정확하게 타겟팅하는 것과 시야 각도 전환의 매끄러움 사이를 어떻게 균형을 맞춰 사용자 편안함을 향상시킬 수 있는가?
• RQ3 RNN을 통한 시간적 맥락 통합이 단일 프레임 기반 기준 대비 시야 각도 예측 성능을 얼마나 향상시키는가?
• RQ4 정량적 지표와 사용자 선호도 측면에서 기존 방법인 AUTOCAM과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 실제 360° 스포츠 영상 시퀀스에서 인간 레이블링된 시야 각도와 비교해 성능이 유사한 수준에 도달할 수 있는가?

주요 결과

• BMX 도메인에서 AUTOCAM 대비 평균 객체 겹침(MO) 지표에서 22%의 상대적 향상이 이루어졌으며, 댄스 도메인에선 최소 3%의 향상이 있었다.
• 사용자 선호도 측면에서 AUTOCAM을 크게 앞서며, 이진 검정에서 p값 < 0.001을 기록해 통계적으로 뚜렷한 우월성을 입증했다.
• 정규화되지 않은 회귀기 없이 제거한 아블레이션 버전 대비 통계적으로 유의미하게 뛰어났다(p < 0.05), 이는 객체 추적 정확도가 유사한 상황에서도 매끄러움이 사용자 인식에 기여함을 시사한다.
• 사용자 연구 결과, 스케이트보드 영상에선 인간 레이블 기준과 구분이 불가능했고(p < 0.405), 댄스 영상에선 p < 0.242로 유사한 수준의 인지 품질을 확보했다.
• 시각적 비교를 통해 트레이젝터리 분석 결과, AUTOCAM보다 더 매끄러운 시야 각도 경로를 생성했으며, 진동 감소와 급격한 전환 감소가 확인되었다.
• 공개된 영상의 일부 서브셋에서 기준 모델 [53] 대비 정량적 지표에서 140%의 성능 향상을 달성해 강력한 일반화 능력과 확장성을 입증했다.