[논문 리뷰] Fast Video Retargeting Based on Seam Carving with Parental Labeling

Zhu Chuning|arXiv (Cornell University)|2019. 03. 07.

Visual Attention and Saliency Detection참고 문헌 9인용 수 4

한 줄 요약

이 논문은 처리 시간을 단축하고 시간적 일관성을 향상시키기 위해 부모 레이블링을 통한 시멘트 카빙 기반의 빠른 비디오 리타겟팅 방법을 제안한다. 프레임당 다수의 시멘트를 동시에 제거하고, 표준편차 필터링을 적용한 공간-시간 에너지 버퍼를 사용하며, 운동 인식 에너지 함수를 통합함으로써, 처리 시간을 93% 감소시키면서도 프레임 간 불일치를 최소화한다.

ABSTRACT

Seam carving is a state-of-the-art content-aware image resizing technique that effectively preserves the salient areas of an image. However, when applied to video retargeting, not only is it time intensive, but it also creates highly visible frame-wise discontinuities. In this paper, we propose a novel video retargeting method based on seam carving. First, for a single frame, we locate and remove several seams instead of one seam at once. Second, we use a dynamic spatiotemporal buffer of energy maps and a standard deviation operator to carve out the same seams in a temporal cube of frames with low variation in energy. Last but not least, an improved energy function that considers motions detected through difference method is employed. During testing, these enhancements result in a 93 percent reduction in processing time and a higher frame-wise consistency, thus showing superior performance compared to existing video retargeting methods.

연구 동기 및 목표

• 기존의 비디오 리타겟팅을 위한 시멘트 카빙에서 높은 계산 비용과 시간적 불일치 문제를 해결한다.
• 프레임 간 주요 시각적 콘텐츠를 유지하면서 비디오 리타겟팅의 처리 시간을 단축한다.
• 연속된 비디오 프레임 간 불일치한 시멘트 제거로 인한 프레임 단위 시각적 결함을 최소화한다.
• 운동 인식 에너지 함수와 시멘트 선택에서의 공간-시간 일관성을 활용하여 시간적 일관성을 향상시킨다.
• 비디오 시퀀스의 시멘트 카빙 파이프라인 최적화를 통해 실시간 또는 근접 실시간 비디오 리타겟팅을 가능하게 한다.

제안 방법

• 프레임당 하나의 시멘트를 제거하는 대신, 처리 속도 향상을 위해 프레임당 다수의 시멘트를 동시에 제거한다.
• 연속된 프레임 간 에너지 맵을 저장하기 위해 동적 공간-시간 버퍼를 사용하여 시멘트 선택의 일관성을 유지한다.
• 시간에 따른 변동성이 낮은 시멘트를 식별하고 제거하기 위해 에너지 버퍼에 표준편차 연산자를 적용한다.
• 차분 방법을 통해 감지한 운동 정보를 통합한 개선된 에너지 함수를 사용하여 비색각적이고 운동에 민감하지 않은 영역을 제거 우선순위로 삼는다.
• 부모 레이블링을 사용하여 프레임 간 시멘트 결정을 추적하고 전파함으로써 공간적 및 시간적 일관성을 확보한다.
• 운동 인식 에너지와 공간-시간 필터링을 통합하여 프레임 간 시각적 번쩍임과 불일치를 줄인다.

실험 결과

연구 질문

• RQ1 시멘트 카빙을 비디오 리타겟팅에 최적화하여 처리 시간을 단축하면서도 시각적 품질을 유지할 수 있는가?
• RQ2 시멘트 카빙 기반 비디오 리타겟팅에서 시간적 일관성을 향상시켜 프레임 단위 시각적 결함을 최소화할 수 있는 메커니즘은 무엇인가?
• RQ3 운동 인식 에너지 함수는 비디오 시퀀스에서 시멘트 선택에 얼마나 기여하는가?
• RQ4 표준편차 필터링을 적용한 공간-시간 에너지 버퍼는 비디오 프레임 간 일관성을 유지하는 데 얼마나 효과적인가?
• RQ5 비표준 접근 방식에 비해 시멘트의 부모 레이블링이 비디오 리타겟팅의 일관성과 성능 향상에 뚜렷한 기여를 할 수 있는가?

주요 결과

• 제안된 방법은 기존의 비디오 리타겟팅을 위한 시멘트 카빙에 비해 처리 시간을 93% 감소시켰다.
• 표준편차 필터링을 적용한 공간-시간 에너지 버퍼 사용으로 프레임 간 시각적 불일치가 뚜렷이 감소했다.
• 차분 방법을 통한 운동 감지 통합으로 에너지 맵 계산과 시멘트 선택의 정확도가 향상되었다.
• 부모 레이블링을 통해 프레임 간 일관된 시멘트 전파가 가능해져 번쩍임과 시각적 결함이 감소했다.
• 기존의 비디오 리타겟팅 기법에 비해 속도와 시각적 품질 양면에서 뛰어난 성능을 달성했다.
• 다중 시멘트 제거와 시간적 일관성 메커니즘의 조합으로 더 견고하고 효율적인 비디오 리타겟팅 파이프라인이 구현되었다.