[논문 리뷰] Video Captioning via Hierarchical Reinforcement Learning

Xin Wang, Wenhu Chen외 3명|arXiv (Cornell University)|2017. 11. 29.

Multimodal Machine Learning Applications참고 문헌 43인용 수 22

한 줄 요약

이 논문은 장기적인 캡션 생성을 고수준의 목표 계획과 저수준의 행동 생성으로 분해하는 계층적 강화학습(HRL) 프레임워크를 제안한다. 관리자 모듈이 하위 목표를 설정하고, 작업자 모듈이 이러한 목표에 조건화된 서브세그먼트를 생성함으로써, MSR-VTT와 새로운 대규모 세분화된 비디오 캡션 데이터셋인 Charades Captions에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Video captioning is the task of automatically generating a textual description of the actions in a video. Although previous work (e.g. sequence-to-sequence model) has shown promising results in abstracting a coarse description of a short video, it is still very challenging to caption a video containing multiple fine-grained actions with a detailed description. This paper aims to address the challenge by proposing a novel hierarchical reinforcement learning framework for video captioning, where a high-level Manager module learns to design sub-goals and a low-level Worker module recognizes the primitive actions to fulfill the sub-goal. With this compositional framework to reinforce video captioning at different levels, our approach significantly outperforms all the baseline methods on a newly introduced large-scale dataset for fine-grained video captioning. Furthermore, our non-ensemble model has already achieved the state-of-the-art results on the widely-used MSR-VTT dataset.

연구 동기 및 목표

• 다양한 세분화된 동작을 포함한 비디오에 대해 세부적이고 시간적으로 일관된 캡션을 생성하는 도전 과제를 해결한다.
• 장기적인 캡션 품질을 최적화하기 위해 강화학습을 사용하여 자동회귀 시퀀스 모델에서 발생하는 노출 편향을 극복한다.
• 고수준의 관리자와 저수준의 작업자로 구성된 이중 수준의 에이전트 아키텍처를 통해 비디오 캡션에서 계층적 제어를 가능하게 한다.
• 계층적 에이전트를 훈련하기 위한 새로운 훈련 파라다임을 개발하며, 확률적 및 결정적 정책 그래디언트를 사용한다.
• 세분화된 비디오 캡션을 위한 새로 도입된 대규모 데이터셋에서 방법을 검증한다: Charades Captions.

제안 방법

• 낮은 시간 해상도에서 작동하는 관리자 네트워크를 사용하여 하위 목표를 설정하는 계층적 강화학습 프레임워크를 적용한다.
• 관리자가 제공한 목표에 조건화되어 단어 단위로 텍스트 세그먼트를 생성하는 작업자 네트워크를 사용한다.
• 내부 크리틱을 통합하여 생성된 세그먼트가 목표를 달성했는지 평가하고, 조밀한 형태의 보상( shaping rewards)을 제공한다.
• 계층적 어텐션 메커니즘을 적용한다: 관리자는 넓은 시간적 맥락에 주목하고, 작업자는 국소적인 비디오 프레임에 집중한다.
• 정책 그래디언트 방법의 조합을 사용하여 시스템을 훈련하며, 교차 엔트로피 미리 훈련된 모델을 초기화하여 온전한 시작을 한다.
• 추론 시 기저 크기 5의 빔 서치를 사용하여 다양한 고품질의 캡션 출력을 생성한다.

실험 결과

연구 질문

• RQ1 계층적 강화학습 프레임워크는 복잡하고 다중 동작을 포함한 비디오에서 캡션의 품질과 일관성을 향상시킬 수 있는가?
• RQ2 목표 계획과 행동 실행을 분리하는 계층적 제어는 비디오 캡션에서 장거리 시간적 의존성을 모델링하는 데 어떻게 기여하는가?
• RQ3 기본적인 최대우도 훈련에 비해 계층적 RL 접근 방식은 노출 편향을 어느 정도 줄일 수 있는가?
• RQ4 제안된 프레임워크는 세분화된 비디오 캡션뿐만 아니라 일반 비디오 캡션 벤치마크에도 일반화 가능한가?
• RQ5 외부 보상에 의존하지 않고도 내부 크리틱은 학습 과정을 얼마나 효과적으로 이끌 수 있는가?

주요 결과

• 제안된 HRL 모델은 앙상블 없이도 MSR-VTT 데이터셋에서 최신 기술 성능을 달성하며, 이전의 최신 기술 방법들을 능가한다.
• 새로 도입된 Charades Captions 데이터셋에서 HRL 모델은 CIDEr 및 기타 캡션 메트릭 측면에서 모든 베이스라인 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 정성적 결과 분석에서 HRL 모델은 공간적 및 시간적 관계를 더 정확하고 구체적으로 반영한 캡션을 생성함을 확인했다.
• 모델은 '침대에 앉기', '노트북을 가방에 넣기', '방에서 나가기'와 같은 복잡한 순차적 동작을 하나의 일관된 캡션으로 정확히 식별하고 기술할 수 있었다.
• 어텐션 메커니즘의 시각화 결과는 관리자와 작업자가 서로 다른 시간 범위에 주목하고 있음을 확인하여 계층적 설계의 타당성을 뒷받침한다.
• 내부 크리틱은 학습 과정을 효과적으로 이끌어내어 의미 있는 하위 목표 달성과 전체 캡션 품질 향상을 가능하게 했다.