[논문 리뷰] TransNet: A deep network for fast detection of common shot transitions

Tomáš Souček, Jaroslav Moravec외 1명|arXiv (Cornell University)|2019. 06. 08.

Video Analysis and Summarization참고 문헌 15인용 수 18

한 줄 요약

TransNet는 RAI 데이터셋에서 상태최저 성능을 기록한 F1 점수 0.943을 달성하는 가벼운, 효율적인 3D 컨볼루션 신경망을 제안한다. 이 모델은 확장된 컨볼루션을 사용하여 영상에서 일반적인 샷 전환(하드 컷과 디졸브)을 탐지하며, 프레임을 리사이징하여 단일 GPU에서 실시간 속도의 100배 이상 빠른 추론 성능을 보이며, 후처리나 큰 파라미터 수를 요구하지 않는다.

ABSTRACT

Shot boundary detection (SBD) is an important first step in many video processing applications. This paper presents a simple modular convolutional neural network architecture that achieves state-of-the-art results on the RAI dataset with well above real-time inference speed even on a single mediocre GPU. The network employs dilated convolutions and operates just on small resized frames. The training process employed randomly generated transitions using selected shots from the TRECVID IACC.3 dataset. The code and a selected trained network will be available at https://github.com/soCzech/TransNet.

연구 동기 및 목표

• 영상 처리에서 빠르고 정확한 샷 경계 탐지(SBD) 문제를 해결하며, 특히 운동이나 가림 현상과 같은 잡음에서 진짜 전환을 구분하는 데 초점을 맞춘다.
• 표준 3D 컨볼루션의 계산 부담을 줄이기 위해 확장된 컨볼루션을 사용하여 수용 필드를 효율적으로 확장한다.
• 복잡한 후처리 없이도 RAI와 같은 표준 벤치마크에서 높은 정확도를 유지하면서 실시간 추론 속도를 달성한다.
• 대규모 레이블이 부여된 데이터셋에 의존도를 줄이기 위해 실제 영상 클립에서 생성한 합성 데이터로 모델을 훈련시킨다.
• 단 두 가지 전환 유형으로만 훈련되었음에도 불구하고, unseen 영상 콘텐츠에 잘 일반화되는 확장 가능한, 파라미터 효율적인 아키텍처를 개발한다.

제안 방법

• 시간 차원에 따라 다른 확장률을 사용하는 4개의 3D 컨볼루션을 각 층에 포함한 모듈식 3D 컨volution 아키텍처(Dilated DCNN 셀)를 설계하여 파라미터 수를 늘리지 않고 수용 필드를 증가시킨다.
• 여러 개의 Dilated DCNN 셀을 SDDCNN 블록으로 스택하고, 공간적 최대 풀링을 적용하여 공간 차원을 다운샘플링하면서 채널 깊이를 증가시킨다.
• 2D 공간 컨볼루션을 사용하며 'same' 패딩과 스트라이드 1을 적용하고, 마지막 레이어를 제외한 전반에 걸쳐 ReLU 활성화 함수를 적용하며, 마지막 레이어는 이진 분류를 위해 소프트맥스를 사용한다.
• TRECVID IACC.3 데이터셋에서 무작위 샷 쌍을 번갈아 가며 조합하여 하드 컷과 디졸브를 시뮬레이션함으로써 합성 데이터를 생성하여 네트워크를 훈련시킨다.
• 각 프레임의 샷 경계 가능성 예측을 위해 공유된 완전 연결 헤드(256개 뉴런)를 사용하며, 프레임 간에 가중치를 공유한다.
• 교차 엔트로피 손실을 사용하여 모델을 최적화하고, 검증 세트 성능에 기반해 초모델 하이퍼파ram터(예: 신뢰도 임계값 θ = 0.1)를 선택한다.

실험 결과

연구 질문

• RQ1 확장된 컨볼루션을 사용한 경량 3D CNN이 실시간 추론 속도를 유지하면서도 샷 경계 탐지에서 최고 성능을 달성할 수 있는가?
• RQ2 장기적인 점진적 전환에 대해 표준 3D 컨볼루션과 비교했을 때, 확장된 컨볼루션은 파라미터 효율성과 수용 필드 커버리지 측면에서 어떻게 다른가?
• RQ3 합성 데이터(시뮬레이션된 전환)로 훈련된 모델이 후처리 없이도 실제 벤치마크인 RAI에 대해 얼마나 잘 일반화되는가?
• RQ4 다이나믹한 장면이나 미세한 점진적 전환과 같은 도전적인 케이스에서 모델의 성능은 어떠한가? 그리고 잠재적인 오분류(거짓 양성, 거짓 음성)의 특성은 무엇인가?
• RQ5 이전 최고 성능 모델들에 비해 파라미터 수가 40배 이상 적은 모델이 표준 평가 지표에서 성능을 유사하거나 초월할 수 있는가?

주요 결과

• TransNet는 RAI 테스트 데이터셋에서 전체 F1 점수 0.943을 기록했으며, 파라미터 수가 1/40에 불과함에도 불구하고 Hassanien 등(2017)이 보고한 최고 성능과 동일한 성능을 달성한다.
• RAI 데이터셋에서 정밀도 96.4%, 재현율 92.3%를 기록했으며, 총 985개의 전환 중에서 오직 34개의 거짓 양성과 76개의 거짓 음성만 존재한다.
• Tesla V100 GPU에서 전체 RAI 데이터셋(약 98분 분량의 영상)을 50초 만에 처리하여 실시간 속도의 100배 이상 빠른 속도로 실행된다.
• 단지 하드 컷과 디졸브로만 훈련되었음에도 불구하고, 다양한 전환 유형과 복잡한 장면을 포함한 RAI 데이터셋에 잘 일반화된다.
• 거짓 양성은 주로 카메라 움직임 등 다이나믹한 샷에서 더 자주 발생하며, 거짓 음성은 주로 점진적 전환에서 발생한다. 약 20%의 거짓 음성은 한 프레임 이동한 근접한 거짓 양성과 짝을 이룬다.
• Gygli(2018)와 Baraldi 등(2015)의 이전 최고 성능 모델을 초월하며, 후처리 단계 없이도 Hassanien 등(2017)의 F1 점수를 유지하거나 초월한다.