[논문 리뷰] A Deep Ranking Model for Spatio-Temporal Highlight Detection from a 360 Video

Youngjae Yu, Sang-Ho Lee외 3명|arXiv (Cornell University)|2018. 01. 31.

Video Analysis and Summarization참고 문헌 26인용 수 7

한 줄 요약

이 논문은 360° 영상의 시공간 하이라이트 검출을 위해 구면 조합 점수 맵을 생성하여 최적의 정규 시야(NFOV) 세그먼트를 식별하고, 시간 요약을 위한 상위 랭킹 하위샷을 선택하는 딥 랭킹 모델인 구성 시각 점수(CVS)를 제안한다. 이 방법은 AutoCam 대비 16배 빠른 추론 속도를 기록하며, 정량적 지표와 사용자 연구 모두에서 최신 기술들을 능가한다.

ABSTRACT

We address the problem of highlight detection from a 360 degree video by summarizing it both spatially and temporally. Given a long 360 degree video, we spatially select pleasantly-looking normal field-of-view (NFOV) segments from unlimited field of views (FOV) of the 360 degree video, and temporally summarize it into a concise and informative highlight as a selected subset of subshots. We propose a novel deep ranking model named as Composition View Score (CVS) model, which produces a spherical score map of composition per video segment, and determines which view is suitable for highlight via a sliding window kernel at inference. To evaluate the proposed framework, we perform experiments on the Pano2Vid benchmark dataset and our newly collected 360 degree video highlight dataset from YouTube and Vimeo. Through evaluation using both quantitative summarization metrics and user studies via Amazon Mechanical Turk, we demonstrate that our approach outperforms several state-of-the-art highlight detection methods. We also show that our model is 16 times faster at inference than AutoCam, which is one of the first summarization algorithms of 360 degree videos

연구 동기 및 목표

• 긴 360° 영상의 공간적 요약(최적의 NFOV 뷰 선택)과 시간적 요약(간결한 하이라이트 생성)을 동시에 해결하는 데 도전한다.
• 기존 방법들이 공간적 요약에만 집중하거나 중복된 뷰 점수 계산으로 인해 높은 추론 복잡도를 겪는 한계를 극복한다.
• 동일한 360° 영상 콘텐츠에서 전문가, 일반인, 무작위 NFOV 뷰를 랭킹함으로써 시각적 조합 품질을 학습하는 딥 러닝 모델을 개발한다.
• 각 영상 세그먼트당 전체 구면 점수 맵을 생성하여 중복 계산을 줄이고, 효율적인 추론을 가능하게 한다.
• Pano2Vid 벤치마크와 유튜브 및 비메오에서 새로 수집한 360° 하이라이트 데이터셋을 바탕으로 프레임워크를 평가한다.

제안 방법

• 각 360° 영상 세그먼트당 각 뷰의 조합 품질을 나타내는 구면 점수 맵을 생성하는 완전 컨볼루션 딥 랭킹 네트워크인 구성 시각 점수(CVS) 모델을 제안한다.
• 전문가 NFOV 샷(양성), 일반인 NFOV 샷(양성), 무작위로 샘플링된 NFOV 샷(음성)을 비교하는 트리플릿 랭킹 손실을 사용하여, 조합 충실도 기반으로 뷰를 랭킹하는 방식으로 모델을 훈련한다.
• 가우시안 위치 풀링을 활용해 구면 표면 전반에 걸친 공간적 점수를 집계하여, 뷰 선택을 위한 효율적인 슬라이딩 윈도우 추론을 가능하게 한다.
• 슬라이딩 윈도우 커널을 구면 점수 맵에 적용하여 각 영상 세그먼트당 가장 높은 점수를 가진 NFOV를 선택함으로써 공간적 요약을 수행한다.
• 전체 영상에 걸쳐 상위-N 랭킹 NFOV 하위샷을 선택하여 시간적 요약을 수행하고, 최종 하이라이트를 도출한다.
• CVS-Fusion 변종에서는 공간적 및 시간적 특징을 융합하여 동적인 이벤트(예: 춤추는 순간, 입맞춤 등)를 더 잘 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 전문가, 일반인, 무작위 NFOV 뷰를 비교함으로써 딥 랭킹 모델이 360° 영상에서 시각적 조합 품질을 효과적으로 학습할 수 있는가?
• RQ2 기존 방법의 뷰 단위 점수 계산 대비, 영상 세그먼트당 구면 점수 맵을 생성하는 것이 추론 시간을 크게 줄이는가?
• RQ3 트리플릿 랭킹 손실이 쌍대 랭킹 손실 대비 하이라이트 검출 성능을 얼마나 향상시키는가?
• RQ4 유튜브 및 비메오에서 수집한 실제 360° 영상에 대해 제안된 방법이 최신 기술 기반 벤치마크와 비교해 얼마나 잘 일반화되는가?
• RQ5 사용자 연구를 통해 검출된 하이라이트가 기존 방법에 비해 더 정보적이고 몰입감 있는 것으로 평가되는가?

주요 결과

• CVS-Fusion 모델은 새로운 360° 영상 하이라이트 데이터셋에서 mAP 기준으로 가장 높은 성능을 기록하며, RankNet, TS-DCNN 및 쌍대 랭킹 기반 변종을 모두 능가했다.
• 트리플릿 랭킹 손실은 웨딩 및 MV 데이터셋에서 쌍대 랭킹 기반 베이스라인 대비 각각 mAP를 5.98점, 4.73점 향상시켰다.
• 아마존 메카니컬 터크를 통한 사용자 연구 결과, 72.5%의 터커가 CVS-Fusion 모델이 생성한 하이라이트를 RankNet 및 TS-DCNN 대비 선호했다.
• CVS 모델은 AutoCam 대비 16배 빠른 추론 속도를 기록하여 중복된 뷰 점수 계산으로 인한 계산 오버헤드를 크게 줄였다.
• 정성적 분석 결과, 높은 조합 점수는 항상 잘 구성된 주요 대상물이나 동적인 이벤트(예: 춤추는 순간, 입맞춤 등)를 포함한 뷰에 일관되게 할당되었다.
• 구면 점수 맵은 사람, 행동 중심 등 주목할 만한 콘텐츠를 효과적으로 강조했고, 하늘나 빈 배경과 같은 정보 없는 영역에는 낮은 점수를 할당했다.