[논문 리뷰] Memory-augmented Attention Modelling for Videos

Rasool Fakoor, Abdelrahman Mohamed외 3명|arXiv (Cornell University)|2016. 11. 07.

Advanced Neural Network Applications참고 문헌 20인용 수 18

한 줄 요약

이 논문은 장기적 시간적 의존성을 모델링하고 단어 수준의 기술을 향상시키기 위해 과거 시각적 주의 상태를 저장하는 메모리 보강 주의 메커니즘을 제안한다. 이전에 생성된 단어에 조건화된 주의 상태를 유지함으로써 모델은 MSVD 및 Charades에서 외부 시간적 특징을 사용하지 않고도 최신 기술 성능을 달성하며, BLEU-4 및 METEOR 점수에서 이전 방법을 능가한다.

ABSTRACT

We present a method to improve video description generation by modeling higher-order interactions between video frames and described concepts. By storing past visual attention in the video associated to previously generated words, the system is able to decide what to look at and describe in light of what it has already looked at and described. This enables not only more effective local attention, but tractable consideration of the video sequence while generating each word. Evaluation on the challenging and popular MSVD and Charades datasets demonstrates that the proposed architecture outperforms previous video description approaches without requiring external temporal video features.

연구 동기 및 목표

• 행동가지가 여러 프레임에 걸쳐 퍼져 있고, 모든 프레임이 동일하게 관련이 있는 것은 아니므로, 영상 캡션에서 장기적 시간적 의존성을 모델링하는 데 도전하는 것.
• 각 단어를 생성할 때 과거 주의 상태를 고려할 수 있도록 모델이 과거 주의 상태를 추론할 수 있도록 영상 기술 생성을 향상시키는 것.
• 시퀀스-투-시퀀스 프레임워크에서 시각적 및 언어적 시퀀스를 함께 모델링하는 메모리 기반 주의 메커니즘을 개발하는 것.
• 외부 시간적 특징(예: 광학 흐름 또는 C3D)을 요구하지 않고도 표준 벤치마크에서 최신 기술 성능을 입증하는 것.
• 시각-언어 정렬을 포함하는 다른 시퀀스-투-시퀀스 작업에 일반화 가능한 아키텍처를 제공하는 것.

제안 방법

• 모델은 시간 인코딩 모듈(TEM)을 사용하여 영상 프레임을 처리하고 프레임 수준의 특징을 추출하는 메모리 보강 순환 인코더-디코더 프레임워크를 사용한다.
• 시각적 메모리 모듈(VMM)은 영상 프레임의 인코딩된 표현을 저장하며, 이는 이전 프레임에 대한 주의와 생성된 단어에 기반해 업데이트된다.
• 이미지 주의 모듈(IAM)은 현재 은닉 상태와 과거 주의 상태의 메모리를 모두 사용하여 영상 프레임에 대한 주의를 계산한다.
• 주의 메커니즘은 각 단어 생성 단계에서 관련 프레임을 동적으로 선택함으로써 디코딩 중 전체 영상 시퀀스를 고려할 수 있도록 한다.
• 언어 생성을 위한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 시간에 따라 역전파를 통해 최적화된다.
• 메모리 구성 요소는 과거 주의 패턴을 명시적으로 저장하고 검색함으로써, 모델이 여러 프레임에 걸쳐 변화하는 시각적 개념을 추적할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 메모리 보강 주의 메커니즘이 과거 주의 상태를 고려함으로써 단어 생성 중 모델이 과거 주의 상태를 추론할 수 있도록 함으로써 영상 캡션을 향상시킬 수 있는가?
• RQ2 외부 시간적 특징 없이 MSVD 및 Charades와 같은 표준 벤치마크에서 제안된 방법이 최신 기술 모델과 비교하여 어떻게 성능을 내는가?
• RQ3 메모리 구성 요소가 영상 시퀀스에서 장기적 시간적 의존성을 포착하는 데 얼마나 기여하는가?
• RQ4 비교적 어법적 정확성(예: METEOR, BLEU) 측면에서 주의 전용 또는 비메모리 기반 모델보다 성능이 향상되는가?
• RQ5 모델은 시각-언어 정렬을 포함하는 다른 시퀀스-투-시퀀스 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 모델은 외부 시간적 특징을 사용하지 않고도 MSVD 데이터셋에서 최신 기술 성능을 달성하며, BLEU-4 및 METEOR 점수에서 이전 방법을 능가한다.
• Charades 데이터셋에서, Venugopalan et al. (2015a)의 베이스라인 대비 상대적 10% 향상된 성능을 기록하여 도전적인 저캡션 수준의 영상 벤치마크에서 강력한 일반화 능력을 입증한다.
• MSVD에서 모델은 METEOR 점수 22.8과 BLEU-4 점수 32.1을 기록하며, 광학 흐름 또는 C3D 특징을 사용하는 대부분의 이전 방법을 뛰어넘는다.
• 제거 실험은 이미지 주의 모듈(IAM)과 메모리 구성 요소가 성능 향상에 크게 기여하며, 메모리가 더 나은 장기적 추론을 가능하게 한다는 것을 확인한다.
• 강력한 성능에도 불구하고, 모델은 주목할 만한 그러나 관련 없는 객체(예: 트램폴린에 있는 개 대신 남성에 초점)를 과도하게 강조함으로써 잘못된 기술을 생성하는 경우가 있어, 프레임 선택 개선 여지가 있음을 시사한다.
• 결과는 메모리 보강 주의 메커니즘이 시각적 및 언어적 표현을 효과적으로 유기적으로 연결함으로써 일관되고 맥락 인식 가능한 캡션 생성을 가능하게 한다는 것을 시사한다.