[논문 리뷰] Accurate and Fast Compressed Video Captioning

Yaojie Shen, Xin Gu외 4명|arXiv (Cornell University)|2023. 09. 22.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 압축 영상의 I-프레임, 운동 벡터, 잔차를 직접 처리하는 엔드 투 엔드 압축 도메인 영상 캡셔닝 모델을 제안한다. 이는 불필요한 복호화와 특징 추출을 제거한다. 정제된, 중복되지 않는 압축 영상 구성 요소를 활용함으로써, MSRVTT에서 SOTA 성능을 기록하는 CIDEr 점수(56.2)를 달성하면서도 이전 방법보다 거의 2배 빠른 속도로 작동한다.

ABSTRACT

Existing video captioning approaches typically require to first sample video frames from a decoded video and then conduct a subsequent process (e.g., feature extraction and/or captioning model learning). In this pipeline, manual frame sampling may ignore key information in videos and thus degrade performance. Additionally, redundant information in the sampled frames may result in low efficiency in the inference of video captioning. Addressing this, we study video captioning from a different perspective in compressed domain, which brings multi-fold advantages over the existing pipeline: 1) Compared to raw images from the decoded video, the compressed video, consisting of I-frames, motion vectors and residuals, is highly distinguishable, which allows us to leverage the entire video for learning without manual sampling through a specialized model design; 2) The captioning model is more efficient in inference as smaller and less redundant information is processed. We propose a simple yet effective end-to-end transformer in the compressed domain for video captioning that enables learning from the compressed video for captioning. We show that even with a simple design, our method can achieve state-of-the-art performance on different benchmarks while running almost 2x faster than existing approaches. Code is available at https://github.com/acherstyx/CoCap.

연구 동기 및 목표

• 프레임 복호화와 중복적인 특징 추출에 의존하는 기존 영상 캡셔닝 파이프라인의 비효율성을 해결하기 위해.
• 복호화된 프레임 대신 압축 영상 처리를 통해 추론 속도를 향상시키기 위해.
• 압축 영상 구성 요소 내 정제된, 중복되지 않는 정보를 활용하여 캡셔닝 정확도를 향상시키기 위해.
• 오프라인 특징 추출을 제거하고 영상 캡셔닝의 계산 오버헤드를 줄이기 위해.
• 압축 도메인 학습이 전체 프레임 기반 방법과 동등하거나 이를 초월할 수 있으며, 동시에 훨씬 더 빠른 속도를 기록할 수 있음을 보여주기 위해.

제안 방법

• 모델은 복호화 없이 I-프레임, 운동 벡터, 잔차로 구성된 압축 영상 입력을 처리한다.
• 세 개의 별도 인코더가 I-프레임(맥락), 운동 벡터(운동), 잔차(잔차 세부 정보)에서 특징을 추출한다.
• 액션 인코더는 맥락, 운동, 잔차 특징을 융합하여 통합된 액션 표현을 생성한다.
• 다중모odal 트랜스포머 디코더는 융합된 특징에서 자연어 캡셔닝을 생성한다.
• 전체 파이프라인은 오프라인 특징 추출과 프레임 샘플링 없이 엔드 투 엔드로 훈련 가능하다.
• 모델 설계는 전체 해상도 프레임 대신 압축된, 정제된 데이터를 처리함으로써 효율성을 우선시한다.

실험 결과

연구 질문

• RQ1 압축 영상 처리를 통해 복호화된 프레임 대비 캡셔닝 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 I-프레임, 운동 벡터, 잔차를 함께 사용할 경우, 단일 구성 요소를 사용하는 것보다 더 나은 캡셔닝 성능을 낼 수 있는가?
• RQ3 그룹 오브 프레임(GOP)의 크기가 모델 성능과 추론 속도에 어떤 영향을 미치는가?
• RQ4 성능과 효율성을 균형 잡기 위해 개별 인코더의 최적 깊이(층수)는 얼마인가?
• RQ5 액션 인코더는 개체 수준 및 액션 수준 특징을 효과적으로 융합하여 캡셔닝 성능을 향상시킬 수 있는가?

주요 결과

• 모델은 MSRVTT 데이터셋에서 CIDEr 점수 56.2를 기록하여 이전 방법보다 뛰어난 성능을 보이며, 이는 거의 2배 빠른 속도로 작동한다.
• I-프레임만을 사용할 경우 CIDEr 점수는 54.1이지만, I-프레임, 운동 벡터, 잔차의 세 구성 요소를 모두 사용할 경우 성능은 56.2로 향상된다.
• 액션 인코더를 제거할 경우 성능이 1.9점 감소(54.3으로)하여 상당한 기여를 한다는 점을 확인했다.
• 작은 GOP 크기(예: KeyInt=60, GOP=8)는 더 큰 GOP(예: KeyInt=250)보다 성능이 뛰어나며(CIDEr=56.2), 하지만 추론 시간이 증가하는 비용이 수반된다.
• I-프레임 인코더의 레이어 수를 늘일수록 성능 향상(56.2에서 57.2 CIDEr로)이 나타나지만, 운동/잔차 모듈의 더 깊은 인코더는 추가로 성능 향상 없이 효과가 없다.
• 정성적 결과 분석에서 모델은 지표와 밀도 높은 의미적 일致성을 보이며, 특히 운동 행동을 잘 포착하는 캡셔닝을 생성하는 것으로 나타났다.