[논문 리뷰] Less Is More: Picking Informative Frames for Video Captioning

Yangyu Chen, Shuhui Wang외 2명|arXiv (Cornell University)|2018. 03. 05.

Multimodal Machine Learning Applications참고 문헌 39인용 수 26

한 줄 요약

이 논문은 강화학습 기반의 프레임 선택 방법인 PickNet를 제안하며, 비디오 자동 요약에서 각 비디오당 단 6~8장의 정보성 있는 프레임만을 식별함으로써 계산량을 크게 줄이고도 경쟁적인 자동 요약 성능을 유지한다. 시각적 다양성을 극대화하고 자동 요약의 불일치를 최소화함으로써 PickNet는 성능 저하 없이 비디오 입력을 압축하는 데에 순차적으로 핵심 프레임을 선택한다.

ABSTRACT

In video captioning task, the best practice has been achieved by attention-based models which associate salient visual components with sentences in the video. However, existing study follows a common procedure which includes a frame-level appearance modeling and motion modeling on equal interval frame sampling, which may bring about redundant visual information, sensitivity to content noise and unnecessary computation cost. We propose a plug-and-play PickNet to perform informative frame picking in video captioning. Based on a standard Encoder-Decoder framework, we develop a reinforcement-learning-based procedure to train the network sequentially, where the reward of each frame picking action is designed by maximizing visual diversity and minimizing textual discrepancy. If the candidate is rewarded, it will be selected and the corresponding latent representation of Encoder-Decoder will be updated for future trials. This procedure goes on until the end of the video sequence. Consequently, a compact frame subset can be selected to represent the visual information and perform video captioning without performance degradation. Experiment results shows that our model can use 6-8 frames to achieve competitive performance across popular benchmarks.

연구 동기 및 목표

• 균일하게 샘플링된 프레임을 사용하는 표준 비디오 자동 요약 파이프라인에서의 비효율성과 중복 문제를 해결한다.
• 비디오 자동 요약에서 계산 비용을 줄이고, 블러, 가림 등 시각적 노이즈에 대한 민감도를 낮춘다.
• 의미적 풍부성을 유지하면서도 인코딩에 사용하는 프레임 수를 최소화함으로써 모델의 효율성을 향상시킨다.
• 동적이고 적응적인 프레임 선택을 통해 실시간 및 스트리밍 비디오 자동 요약을 가능하게 한다.
• 기존의 인코더-디코더 기반 비디오 자동 요약 프레임워크와 호환되는 플러그-인 모듈을 개발한다.

제안 방법

• 사용자 정의 보상 함수를 사용하여 강화학습 에이전트를 훈련시켜 정보성 있는 프레임을 순차적으로 선택한다.
• 선택된 프레임 간의 시각적 다양성을 극대화하고 지식 기반 자동 요약과의 문장 불일치를 최소화하기 위해 보상 함수를 설계한다.
• 표준 인코더-디코더 아키텍처를 비디오 자동 요약에 사용하며, 프레임이 선택될 때만 인코더를 업데이트한다.
• 누적 보상 기반의 워너-테이크-all 전략을 적용하여 압축되고 대표적인 프레임 집합을 확보한다.
• 주요 자동 요약 모델의 전처리 단계에 PickNet를 플러그인 모듈로 통합하여 다양한 최첨단 방법과의 호환성을 확보한다.
• 실시간으로 프레임을 처리하고 자동 요약 품질 향상에 기여하는 프레임만을 순차적으로 선택함으로써 온라인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 프레임 선택 메커니즘이 성능 저하 없이 비디오 자동 요약에서 입력 프레임 수를 줄일 수 있는가?
• RQ2 시각적 다양성과 자동 요약 정확도는 비디오 자동 요약에서 효과적인 프레임 선택에 어떻게 기여하는가?
• RQ3 프레임 선택은 표준 벤치마크에서 경쟁적인 성능을 유지하면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 낮은 지연 시간과 높은 반응성을 갖춘 스트리밍 비디오 자동 요약에 적용될 수 있는가?
• RQ5 선택된 프레임이 비디오 전체 기간 동안 어떻게 분포되어 있는가? 이는 모델이 주요 콘텐츠를 이해하고 있는지를 어떻게 반영하는가?

주요 결과

• PickNet는 비디오당 단 6~8장의 프레임만을 사용하여 경쟁적인 성능를 달성하며, 표준 방법 대비 계산 비용을 최대 80%까지 감소시켰다.
• MSR-VTT 벤치마크에서 PickNet(V+L)는 CIDEr 점수 42.1을 기록하여 베이스라인(41.2)을 초월하고, 10장 이내의 프레임으로 최첨단 모델과 동등한 성능를 달성했다.
• MSVD의 평균 선택 프레임 수는 6장, MSR-VTT는 8장이며, 이는 효과적인 자동 요약을 위해 전체 프레임의 33%만으로도 충분함을 시사한다.
• 모델는 프레임 선택에서 힘의 법칙 분포를 보이며, 초기 프레임을 선호하는 경향을 보이며, 이는 대부분의 비디오가 단일 촬영으로 이루어져 있음을 반영한다.
• PickNet는 추론 시간을 베이스라인의 1배로 줄여, 비교된 방법들 중에서 가장 빠른 속도를 기록했다(베이스라인 대비 3.8배).
• 이 방법은 콘텐츠 노이즈에 대해 강건하며, 보조 속성 정보 없이도 다른 최첨단 모델들과 마찬가지로 성능을 유지한다.