[논문 리뷰] Memory-Attended Recurrent Network for Video Captioning

Wenjie Pei, Jiyuan Zhang외 4명|arXiv (Cornell University)|2019. 05. 10.

Multimodal Machine Learning Applications참고 문헌 61인용 수 16

한 줄 요약

이 논문은 메모리 주의형 순환 네트워크(MARN)를 제안하여, 메모리 모듈을 통해 다수의 트레이닝 비디오에서 단어의 전체 스펙트럼 시각-의미적 맥락을 저장하고 주의를 기울임으로써 캡션 품질을 향상시킨다. 이 방법은 단어 수준의 이해를 향상시키고 명시적으로 단어 간 호환성을 모델링하여 MSR-VTT 및 MSVD 데이터셋에서 최신 기술 수준의 성능을 달성하며, CIDEr 점수 최대 1.4점 향상됨.

ABSTRACT

Typical techniques for video captioning follow the encoder-decoder framework, which can only focus on one source video being processed. A potential disadvantage of such design is that it cannot capture the multiple visual context information of a word appearing in more than one relevant videos in training data. To tackle this limitation, we propose the Memory-Attended Recurrent Network (MARN) for video captioning, in which a memory structure is designed to explore the full-spectrum correspondence between a word and its various similar visual contexts across videos in training data. Thus, our model is able to achieve a more comprehensive understanding for each word and yield higher captioning quality. Furthermore, the built memory structure enables our method to model the compatibility between adjacent words explicitly instead of asking the model to learn implicitly, as most existing models do. Extensive validation on two real-word datasets demonstrates that our MARN consistently outperforms state-of-the-art methods.

연구 동기 및 목표

• 표준 인코더-디코더 모델이 디코딩 중에 단일 비디오에만 집중하고 각 단어에 대한 다양한 시각적 맥락을 포착하지 못하는 한계를 해결하기 위해.
• 주어진 단어에 대해 전체 트레이닝 데이터에서 여러 유사한 시각적 맥락에 액세스하고 주의를 기울일 수 있도록 모델이 가능하게 하여 단어 수준 이해를 향상시키기 위해.
• 순환 신경망에 의해 암묵적으로 학습되는 대신, 디코딩 중 인접한 단어 간의 호환성을 명시적으로 모델링하기 위해.
• 각 어휘의 단어에 대해 기술적 정보를 저장하고 검색하는 메모리 보강 디코더를 통해 캡션 품질을 향상시키기 위해.
• 실세계 영상 캡션 벤치마크에서 최신 기술 수준의 방법들에 비해 일관된 성능 향상을 입증하기 위해.

제안 방법

• 모델은 인코더-디코더 아키텍처에 기반한 주의 기반 순환 디코더를 기본 디코더로 사용하며, CNN과 RNN을 활용해 특징을 추출하고 캡션을 생성함.
• 어휘에 속한 각 단어에 대한 기술 정보를 저장하기 위해 메모리 구조를 도입하여, 다수의 트레이닝 비디오에서 다양한 시각적 맥락과의 전체 스펙트럼 대응을 포착함.
• 디코딩 중에 메모리가 동적으로 주의를 기울여, 보다 나은 단어 예측을 위한 관련된 시각-의미 패턴을 검색할 수 있음.
• 메모리 보강 디코더는 저장된 단어 표현과 그 맥락적 관계를 활용하여 인접한 단어 간 호환성을 명시적으로 모델링함.
• 특징 추출 단계에서 2D 및 3D 시각적 특징을 통합하여 입력 표현을 풍부화하고 더 나은 특징 학습을 향상시킴.
• 주의 메커니즘은 디코더 내부와 메모리 모듈 간에 모두 적용되어 관련된 시각적 및 의미적 콘텐츠에 초점을 맞춤.

실험 결과

연구 질문

• RQ1 다수의 비디오에서 단어에 대한 다양한 시각적 맥락을 포착하는 메모리 메커니즘이 영상 캡션 품질 향상에 기여하는가?
• RQ2 인접한 단어 간의 호환성을 암묵적 학습이 아닌 명시적으로 모델링하면 표준 RNN에 비해 더 통일되고 정확한 캡션을 생성하는가?
• RQ3 주목적 기반 디코더와 주의 메커니즘을 통합한 메모리 보강 디코더가 표준 영상 캡션 벤치마크에서 성능 향상에 기여하는가?
• RQ4 제안된 MARN 모델은 자동 평가 지표와 인간 평가 모두에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 메모리 구조는 특히 '倒기'와 같은 일반적인 동작에 대해 단어 수준 이해를 얼마나 향상시키는가?

주요 결과

• MSR-VTT 데이터셋에서 MARN은 CIDEr 점수 47.1을 기록하여 기초 디코더(45.7)를 초월하고 모든 다른 최신 기술 수준의 모델을 앞서며 성능 향상을 보임.
• MSVD 데이터셋에서 MARN은 CIDEr 점수 92.2를 기록하여 기초 디코더(89.9)와 다른 선도적 방법들을 크게 앞서며 뚜렷한 성능 향상을 보임.
• 인간 평가 결과, MARN은 테스트 샘플의 43.3%에서 기초 디코더보다 열등한 캡션을 생성하는 반면, 기초 디코더가 승리한 경우는 33.3%에 불과함.
• MSR-VTT 및 MSVD 데이터셋 양쪽에서 BLEU-4, METEOR, ROUGE-L, CIDEr의 네 가지 표준 평가 지표 전반에 걸쳐 일관된 향상이 관찰됨.
• 성능 향상 요인은 메모리 모듈이 전체 스펙트럼의 시각-의미적 대응을 포착하고 단어 간 호환성을 명시적으로 모델링할 수 있다는 데 기인함.
• 기초 디코더만으로도 강력한 성능(예: MSVD에서 CIDEr: 89.9)을 보이며, 이는 메모리 보강 설계가 상당한 측정 가능한 성능 향상을 제공함을 시사함.