[논문 리뷰] Semantic-driven Generation of Hyperlapse from $360^\circ$ Video

Wei‐Sheng Lai, Yujia Huang외 4명|arXiv (Cornell University)|2017. 03. 31.

Image and Video Stabilization참고 문헌 27인용 수 9

한 줄 요약

이 논문은 시각적 주목도, 장면 의미론, 사용자가 지정한 객체 관심사를 활용하여 $360^\circ$ 영상에서 공간과 시간을 비균일하게 샘플링함으로써 의미 기반 하이퍼랩스를 생성하는 최초의 시스템을 제시한다. 입력 영상을 안정화하고, 주목도 및 의미론적 점수를 계산하며, 부드러운 카메라 경로를 최적화하고, 적응형 2D 안정화를 적용하여 시각적으로 안정적이며 주의를 집중시킨 하이퍼랩스를 생성한다. 이는 사용자 선호도에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We present a system for converting a fully panoramic ($360^\circ$) video into a normal field-of-view (NFOV) hyperlapse for an optimal viewing experience. Our system exploits visual saliency and semantics to non-uniformly sample in space and time for generating hyperlapses. In addition, users can optionally choose objects of interest for customizing the hyperlapses. We first stabilize an input $360^\circ$ video by smoothing the rotation between adjacent frames and then compute regions of interest and saliency scores. An initial hyperlapse is generated by optimizing the saliency and motion smoothness followed by the saliency-aware frame selection. We further smooth the result using an efficient 2D video stabilization approach that adaptively selects the motion model to generate the final hyperlapse. We validate the design of our system by showing results for a variety of scenes and comparing against the state-of-the-art method through a user study.

연구 동기 및 목표

• 긴 임머시브 $360^\circ$ 영상을 효과적으로 시청할 수 있도록 자동으로 간결하고 안정적이며 시각적으로 매력적인 하이퍼랩스를 생성하는 데 도전한다.
• 시각적 주목도와 의미 분할을 통합하여 공간과 시간에서 카메라 경로 계획을 안내함으로써 시청 경험을 향상시킨다.
• 사용자 정의된 관심 객체 선택 기능을 통해 개인화된 하이퍼랩스 생성을 가능하게 한다.
• 각 프레임의 운동 모델 선택을 적응적으로 수행하는 2D 영상 안정화 기법을 통해 최종 하이퍼랩스의 시각적 부드러움을 확보한다.
• 대규모 사용자 연구를 통해 인지 품질과 선호도를 비교함으로써 기존 방법들에 비해 시스템의 우수성을 검증한다.

제안 방법

• 시스템은 3차원 단위의 운동 추정과 가우시안 가중 커널을 사용한 Slerp 보간을 통해 프레임 간 회전 전이를 부드럽게 함으로써 $360^\circ$ 영상을 안정화한다.
• 광학 흐름과 운동 파라랄랙시를 사용하여 공간적 관심 영역과 주목도 점수를 계산하고, 의미 분할을 통해 객체 카테고리 식별을 수행한다.
• 다이나믹 프로그래밍을 통해 주목도, 운동 부드러움, 시간 일관성의 조합을 최적화하여 초기 하이퍼랩스를 생성한다.
• 각 프레임마다 운동 모델(예: 이동, 회전, 애핀)을 적응적으로 선택하는 강력한 2D 영상 안정화 기법을 적용하여 최종 출력의 진동을 감소시킨다.
• 시각적 주목 영역이 감지되지 않을 경우, 광학 흐름 벡터에 투영 변환(Hough 변환)을 적용하여 확장 중심점(FOE)과 수축 중심점(FOC)을 추정하여 운동 사전 지식을 제공한다.
• 최적화된 카메라 경로를 따라 안정화된 $360^\circ$ 영상을 와핑하여 최종 하이퍼랩스를 렌더링하며, 사용자가 지정한 객체는 경로 계획 시 우선순위를 부여한다.

실험 결과

연구 질문

• RQ1 공간과 시간에서 의미론적 및 주목도 기반 샘플링이 $360^\circ$ 영상의 하이퍼랩스 품질과 참여도를 향상시킬 수 있는가?
• RQ2 사용자가 정의한 관심 객체를 통합할 경우 생성된 하이퍼랩스의 인지 품질과 개인적 관련성은 어떻게 영향을 받는가?
• RQ3 적응형 2D 안정화 기법이 $360^\circ$ 하이퍼랩스에서 시각적 진동을 현저히 감소시킬 수 있는가, 동시에 운동의 부드러움을 유지할 수 있는가?
• RQ4 Pano2Vid와 같은 최신 기술과 비교할 때 제안된 시스템은 사용자 선호도와 인지 품질 측면에서 어떻게 비교되는가?
• RQ5 의미 분할과 주목도 추정은 최종 하이퍼랩스의 안정성과 주의 집중도에 어떤 영향을 미치는가?

주요 결과

• 대규모 사용자 연구에서 제안된 시스템은 최신 기술 대비 뚜렷하게 더 높은 선호도를 보였으며, 다수의 참가자가 시각적 품질과 참여도 측면에서 더 높게 평가했다.
• 의미 분할과 주목도 점수의 통합은 특히 움직이는 객체가 많은 복잡한 장면에서 더 일관성 있고 주의 집중된 카메라 경로를 만들어내는 데 기여했다.
• 적응형 2D 안정화 방법은 시각적 진동을 효과적으로 감소시켜 원본 $360^\circ$ 영상에 심한 카메라 흔들림이 있더라도 더 부드러운 하이퍼랩스를 생성했다.
• 다양한 장면, 예를 들어 동적인 도시 환경와 정적인 파ano라믹 뷰를 모두 효과적으로 처리하여 다양한 콘텐츠 유형에 대한 강건성을 입증했다.
• 사용자 정의된 관심 객체 선택을 통한 사용자 맞춤 기능은 사용자 피드백을 통해 검증된 바와 같이 더 개인화되고 만족도가 높은 하이퍼랩스 출력을 이끌어냈다.
• Pano2Vid와 달리 이 시스템은 $360^\circ$ 영상에서 진정으로 짧은 하이퍼랩스(입력보다 짧은)를 생성하는 최초의 시스템이다.