[논문 리뷰] GL-RG: Global-Local Representation Granularity for Video Captioning

Liqi Yan, Qifan Wang외 5명|arXiv (Cornell University)|2022. 05. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 영상 자동 요약에 대한 글로벌-로컬 표현 정밀도 프레임워크인 GL-RG를 제안한다. 이는 새로운 다중 표현 인코더를 통해 장기적 시간적 일관성, 단기적 운동 역학, 로컬 关건 프레임 세부 정보를 동시에 모델링함으로써 요약 품질을 향상시킨다. 본 방법은 분류 및 강화 학습 성분을 포함한 점진적 이중 단계 학습 전략을 사용하여 MSR-VTT 및 MSVD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video captioning is a challenging task as it needs to accurately transform visual understanding into natural language description. To date, state-of-the-art methods inadequately model global-local representation across video frames for caption generation, leaving plenty of room for improvement. In this work, we approach the video captioning task from a new perspective and propose a GL-RG framework for video captioning, namely a extbf{G}lobal- extbf{L}ocal extbf{R}epresentation extbf{G}ranularity. Our GL-RG demonstrates three advantages over the prior efforts: 1) we explicitly exploit extensive visual representations from different video ranges to improve linguistic expression; 2) we devise a novel global-local encoder to produce rich semantic vocabulary to obtain a descriptive granularity of video contents across frames; 3) we develop an incremental training strategy which organizes model learning in an incremental fashion to incur an optimal captioning behavior. Experimental results on the challenging MSR-VTT and MSVD datasets show that our DL-RG outperforms recent state-of-the-art methods by a significant margin. Code is available at \url{https://github.com/ylqi/GL-RG}.

연구 동기 및 목표

• 기존 영상 자동 요약 방법이 장기적(장기적) 및 국소적(단기적, 관건 프레임) 시각적 표현을 효과적으로 모델링하는 데에 한계가 있음을 해결한다.
• 그래프 기반 방법의 과도한 평탄화 문제와 단순한 다중 모odal 융합의 비효율성을 해결하기 위해, 영상 프레임 간의 표현 정밀도를 명시적으로 모델링한다.
• 사람의 애너테이션 불일치 문제를 완화하고 강화 학습에서 보상 추정을 향상시키는 학습 전략을 설계함으로써 요약 성능을 향상시킨다.
• 공간-시간적 대응 관계, 운동 경향성, 객체 외형 세부 정보를 동시에 캡처함으로써 세밀한 기술적 요약을 가능하게 한다.

제안 방법

• 장기적 시간적 대응을 위한 크로스-프레임 인코더, 운동 및 경향성을 위한 단기적 인코더, 세밀한 객체 세부 정보를 위한 로컬-관건 프레임 인코더를 포함한 세 개의 병렬 브랜치로 구성된 글로벌-로컬 인코더를 제안한다.
• 새로운 점진적 이중 단계 학습 전략을 도입한다: 첫 번째로, 애너테이션 불일치를 줄이기 위해 가중치가 부여된 지표(예: CIDEr)를 사용한 교차 엔트로피 손실을 적용하는 시딩 단계; 두 번째로, 강화 학습에 사용되는 불일치 보상 함수를 적용하는 부스팅 단계.
• 시딩 단계에서 분류적 교차 엔트로피 손실을 사용하여 학습 안정성을 확보하고 인간 애너테이션 변동성으로 인한 편향을 감소시킨다.
• 부스팅 단계에서 모델이 생성한 요약문을 기준선(b₁ 또는 b₂)과 비교하는 보상 함수를 도입한다. b₂는 상위-Q개의 생성 문장을 사용하여 기대 보상을 더 잘 추정한다.
• 시딩 단계 동안 CIDEr를 주요 지표로 사용하여 가중치를 설정함으로써 모든 평가 지표에서 최적의 성능을 달성한다.
• 다양한 영상 범위에서의 다중 정밀도 시각 표현을 통합하여 의미어휘를 풍부화하고 언어적 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 영상 범위에 걸친 글로벌-로컬 시각적 표현을 효과적으로 모델링하여 영상 자동 요약 품질을 향상시킬 수 있는가?
• RQ2 장기적, 단기적, 로컬 관건 프레임 특징을 동시에 캡처하는 다중 브랜치 인코더 아키텍처가 공간-시간 이해력과 요약의 세부 정보를 향상시키는 데 기여하는가?
• RQ3 비강화 학습과 강화 학습 단계를 조합한 점진적 학습 전략이 종단 간 학습보다 더 나은 요약 성능을 내는가?
• RQ4 보상 기준선 선택(b₁ 대 b₂)이 영상 자동 요약에서 강화 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 시딩 단계에서 CIDEr와 같은 가중치 지표를 사용하면 모델 일반화 능력 향상과 애너테이션 노이즈에 대한 민감도 감소에 기여하는가?

주요 결과

• GL-RG는 MSR-VTT 및 MSVD에서 최신 기술 수준의 성능을 달성하였으며, MSR-VTT에서 CIDEr 점수 60.6, MSVD에서 65.7을 기록하여 이전 최신 기술 수준 방법을 크게 능가한다.
• 시딩 단계에서 CIDEr를 가중치 지표로 사용한 모델(DXE)이 XE 기준선 대비 CIDEr 점수 3.8점 향상되어 최고 성능을 기록하였다.
• DXE로 학습된 시딩 모델에서 시작하는 부스팅 단계는 XE에서 시작하는 것보다 높은 성능( MSR-VTT에서 CIDEr: 60.6)을 기록하여 시딩 단계의 효과성을 입증하였다.
• 부스팅 단계에서 b₂를 기준선으로 사용하는 경우(상위-Q개의 생성 문장을 기반으로 함) b₁(실제 문장을 기반으로 함)보다 더 높은 성능을 보였으며, MSR-VTT에서 CIDEr 점수 9.4점 향상되었다.
• 점진적 학습 전략은 성능 향상을 동시에 학습 시간을 단축시켜 이전 방법보다 더 빠르게 최적 결과에 도달함을 보였다.
• 절단 실험 결과, 장기적, 단기적, 로컬-관건 프레임 표현 유형을 모두 조합할 경우 최고 성능을 기록하였으며, 특히 장기적 인코더가 전체 성능 향상에 가장 기여하였다.