[논문 리뷰] TransNet V2: An effective deep network architecture for fast shot transition detection

Tomáš Souček, Jakub Lokoč|arXiv (Cornell University)|2020. 08. 11.

Video Analysis and Summarization참고 문헌 13인용 수 55

한 줄 요약

TransNet V2는 확장된 3D CNN 기반 샷 전이 탐지기로, 팽창형 DCNN 블록과 커널 분해, 프레임 유사도 특징을 사용하여 ClipShots, BBC에서 최첨단 F1을 달성하고 RAI에서 경쟁력 있는 결과를 제시하며, 오픈 소스 학습 모델과 간단한 사용 API를 제공합니다.

ABSTRACT

Although automatic shot transition detection approaches are already investigated for more than two decades, an effective universal human-level model was not proposed yet. Even for common shot transitions like hard cuts or simple gradual changes, the potential diversity of analyzed video contents may still lead to both false hits and false dismissals. Recently, deep learning-based approaches significantly improved the accuracy of shot transition detection using 3D convolutional architectures and artificially created training data. Nevertheless, one hundred percent accuracy is still an unreachable ideal. In this paper, we share the current version of our deep network TransNet V2 that reaches state-of-the-art performance on respected benchmarks. A trained instance of the model is provided so it can be instantly utilized by the community for a highly efficient analysis of large video archives. Furthermore, the network architecture, as well as our experience with the training process, are detailed, including simple code snippets for convenient usage of the proposed model and visualization of results.

연구 동기 및 목표

• 다양한 비디오 콘텐츠에서 이전의 딥러닝 방식들을 넘어 샷 전이 탐지 정확도를 향상시킨다.
• 대규모 비디오 분석을 위한 오픈 소스이면서 사용이 쉬운 모델과 학습/평가 파이프라인을 제공한다.
• 학습의 안정화와 합성 데이터에 대한 과적합 감소를 목표로 한 아키텍처 개선을 탐구한다.

제안 방법

• 배치 정규화와 스킵 연결로 보강된 확장된 DCNN 셀을 갖춘 TransNet 기반으로 구축한다.
• 3D 합성곱을 공간 2D 합성곱과 시간 1D 합성곱으로 요인화하여 매개변수 수를 줄인다(커널 인자화).
• RGB 히스토그램과 학습된 특징을 유사도 네트워크가 처리하는 방식으로 프레임 유사성을 통합한다.
• 전이용 단일 프레임 중간 프레임 헤드와 학습을 유도하는 모든 프레임 헤드의 두 예측 헤드를 사용한다.
• IACC.3 및 ClipShots에서 생성된 합성 전이와 실제 전이를 사용하여 학습하며, 모멘텀을 가진 SGD와 고정 학습률을 사용한다.
• 즉시 샷 탐지를 위한 사용 준비가 된 학습 모델과 경량 인퍼런스 API를 제공한다.

Figure 1. TransNet V2 Architecture (left), DDCNN V2 cell (right top), and learnable frame similarities computation (right bottom) with visualization of Pad + Gather operation.

실험 결과

연구 질문

• RQ1 TransNet V2가 여러 벤치마크(ClipShots, BBC, RAI)에서 이전의 최첨단 샷 경계 탐지기를 능가할 수 있는가?
• RQ2 어떤 아키텍처 변경(커널 인자화, 프레임 유사성, 이중 헤드)이 탐지 성능과 학습 안정성을 가장 향상시키는가?
• RQ3 합성 전이 데이터와 실제 전이가 다양한 데이터셋에서 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• TransNet V2는 평가 설정에서 ClipShots, BBC에서 여러 기준선보다 높은 F1 점수를 달성하고 RAI에서도 최상위 결과에 근접한다.
• ClipShots에서 TransNet V2는 77.9를 달성하며, 73.5(TransNet 2019) 및 75.9/76.1(다른 기준선)과 대비된다.
• BBC에서 TransNet V2는 96.2를 달성하여 기존 방법들보다 우수하다(예: TransNet 92.9; Hassanien 92.6; Tang 89.3).
• RAI에서 TransNet V2는 93.9를 달성하며 재평가된 프로토콜에서 DeepSBD 및 DSM 기준선과 비슷하다.
• 합성 전이는 실제 전이만 사용할 때보다 학습 성능을 크게 높이며, 데이터셋 간 일반화 능력을 향상시킨다.
• 저자들은 비디오 전처리 파이프라인에 쉽게 통합할 수 있는 오픈 소스 학습 모델과 코드를 제공한다.

Figure 2. Visualized predictions from both classification heads with a corresponding list of scenes. The original video authored by Blender Foundation licensed under CC-BY. Sequences with no transitions shortened due to limited space.