[논문 리뷰] Translating Videos to Natural Language Using Deep Recurrent Neural Networks

Subhashini Venugopalan, Huijuan Xu외 4명|arXiv (Cornell University)|2014. 12. 15.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각적 특징 추출을 위한 합성곱 신경망(CNN)과 시퀀스 생성을 위한 장기 기억 신경망(LSTM)을 통합한 유일한 아키텍처를 사용하여 비디오 클립을 직접 자연어 문장으로 번역하는 엔드 투 엔드 딥 신경망을 제안한다. 대규모 이미지 분류 및 이미지 캡션 데이터셋에서 지식을 전이함으로써, 이전 방법에 비해 유창성, 정확도, 관련성 측면에서 뚜렷이 향상된 성능을 달성한다.

ABSTRACT

Solving the visual symbol grounding problem has long been a goal of artificial intelligence. The field appears to be advancing closer to this goal with recent breakthroughs in deep learning for natural language grounding in static images. In this paper, we propose to translate videos directly to sentences using a unified deep neural network with both convolutional and recurrent structure. Described video datasets are scarce, and most existing methods have been applied to toy domains with a small vocabulary of possible words. By transferring knowledge from 1.2M+ images with category labels and 100,000+ images with captions, our method is able to create sentence descriptions of open-domain videos with large vocabularies. We compare our approach with recent work using language generation metrics, subject, verb, and object prediction accuracy, and a human evaluation.

연구 동기 및 목표

• 대규모 어휘와 제한된 애너테이션된 학습 데이터를 가진 오픈 도메인, 실생활 영상에 대해 자연어 기술을 생성하는 도전 과제를 해결하기 위해.
• 중간 단계의 의미 역할 표현이나 고정된 문장 템플릿에 의존하는 이전 방법의 한계를 극복하기 위해.
• 대규모 이미지 및 캡션 데이터셋에서의 지식 전이를 통해 영상 도메인에 적용함으로써 영상 기술 품질을 향상시키기 위해.
• 중간 단계의 감독 없이 시각적 의미 상태와 자연스러운 언어 생성을 동시에 학습할 수 있는 엔드 투 엔드로 트레이닝 가능한 모델을 개발하기 위해.
• YouTube 영상 코퍼스에서 자동 평가 지표, 제로샷 전이, 인간 평가를 통해 모델 성능을 평가하기 위해.

제안 방법

• 모델은 각 영상 프레임에서 공간적 특징을 추출하기 위해 사전 훈련된 합성곱 신경망(CIFAR-10/ILSVRC2012)을 사용한다.
• 모든 프레임의 시각적 특징은 시간적 풀링(평균 풀링)을 통해 압축된 영상 수준의 표현으로 통합된다.
• 깊이 있는 장기 기억 신경망(LSTM) 순환 네트워크는 풀링된 시각적 특징에 조건부로 토큰 단위로 자연어 문장을 생성한다.
• LSTM은 풍부한 언어 패턴과 의미 조합을 학습하기 위해 이미지 캡션 데이터셋(Flickr30k 및 COCO)에서 사전 훈련된다.
• 이미지 캡션 및 이미지 분류 사전 훈련의 가중치를 초기화하여 지식 전이가 이루어진다.
• 전체 네트워크는 YouTube 영상 기술 데이터셋에서 엔드 투 엔드로 파인튜닝되어 영상 전용 특징과 언어 패턴에 적응한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 신경망이 원시 영상 픽셀을 자연스럽고 문법적으로 올바른 자연어 문장으로 효과적으로 번역할 수 있는가?
• RQ2 이미지 분류 및 이미지 캡션 데이터셋에서의 지식 전이가 제한된 영상 전용 학습 데이터에서 성능 향상에 어떻게 기여하는가?
• RQ3 개별 프레임을 사용하는 것에 비해, 프레임 수준 특징의 평균 풀링이 영상 기술 품질 향상에 어느 정도 기여하는가?
• RQ4 대규모 이미지 및 캡션 데이터에서의 사전 훈련이 영상 기술의 주어, 동사, 목적어 예측 정확도 향상에 어떻게 기여하는가?
• RQ5 유창성, 문법 정확도, 인간 평가 기준의 관련성 측면에서, 제안된 모델은 템플릿 기반 또는 역할 기반 접근 방식에 비해 어떻게 비교되는가?

주요 결과

• 제안된 엔드 투 엔드 CNN-LSTM 모델은 자동 평가 지표와 인간 평가 모두에서 YouTube 영상 기술 데이터셋에서 이전 최고 성능 모델을 능가한다.
• COCO 및 Flickr30k 이미지 캡션 데이터셋에서의 사전 훈련은 영상 데이터만으로 훈련하는 것보다 주어, 동사, 목적어 예측 정확도를 크게 향상시킨다.
• COCO2014에서 사전 훈련한 모델가 가장 큰 성능 향상을 보이며, 이는 대규모 이미지 캡션 데이터가 영상 기술에 매우 효과적임을 시사한다.
• 프레임 수준 특징의 평균 풀링은 개별 프레임을 사용하는 것보다 유의미하게 더 높은 성능을 보이며, 더 잘 대표되는 영상 수준의 의미를 포괄하고 있음을 시사한다.
• 인간 평가 결과, 생성된 문장은 이전 모델보다 영상 콘텐츠와 더 관련성이 높은 것으로 나타났지만, 템플릿 기반 시스템에 비해 문법 정확도는 여전히 도전 과제로 남아 있다.
• 이미지 캡션 데이터에서의 전이 학습은 모델 출력과 인간 애너테이션 기술 간의 성능 격차를 줄이며 보조 데이터의 가치를 입증한다.