[논문 리뷰] Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning

Pingbo Pan, Zhongwen Xu외 3명|arXiv (Cornell University)|2015. 11. 11.

Multimodal Machine Learning Applications참고 문헌 7인용 수 42

한 줄 요약

이 논문은 LSTMs를 다중 수준의 프레임 조각에 걸쳐 스택하여 장거리 시간적 의존성을 모델링함으로써 효율적이고 효과적인 비디오 표현 학습을 가능하게 하는 딥러닝 프레임워크인 계층적 순환 신경망 인코더(HRNE)를 제안한다. HRNE는 비디오 캡션 벤치마크에서 최신 기술을 초월하여, RGB 입력만으로도 SOTA 성능을 달성하며, RGB와 3D ConvNet 스트림을 융합한 모델들을 능가한다.

ABSTRACT

Recently, deep learning approach, especially deep Convolutional Neural Networks (ConvNets), have achieved overwhelming accuracy with fast processing speed for image classification. Incorporating temporal structure with deep ConvNets for video representation becomes a fundamental problem for video content analysis. In this paper, we propose a new approach, namely Hierarchical Recurrent Neural Encoder (HRNE), to exploit temporal information of videos. Compared to recent video representation inference approaches, this paper makes the following three contributions. First, our HRNE is able to efficiently exploit video temporal structure in a longer range by reducing the length of input information flow, and compositing multiple consecutive inputs at a higher level. Second, computation operations are significantly lessened while attaining more non-linearity. Third, HRNE is able to uncover temporal transitions between frame chunks with different granularities, i.e., it can model the temporal transitions between frames as well as the transitions between segments. We apply the new method to video captioning where temporal information plays a crucial role. Experiments demonstrate that our method outperforms the state-of-the-art on video captioning benchmarks. Notably, even using a single network with only RGB stream as input, HRNE beats all the recent systems which combine multiple inputs, such as RGB ConvNet plus 3D ConvNet.

연구 동기 및 목표

• 표준 RNN이 장수열에서 어려움을 겪는 상황에서 비디오 표현에서 장거리 시간적 의존성을 모델링하는 데 도전하는 것.
• 스택된 LSTMs의 비효율성을 피하면서 계산 비용을 줄이고 비선형성을 증가시켜 비디오 표현 학습의 비선형성과 효율성을 향상시키는 것.
• 비디오 세그먼트 내외에서 다중 해상도의 시간적 구조를 모델링하여, 프레임 수준과 세그먼트 수준의 동적 특성을 모두 포착하는 것.
• 캡션 생성 외의 다른 비디오 분석 작업으로도 일반화 가능한 일반적인 비디오 표현 프레임워크를 개발하는 것.

제안 방법

• HRNE는 짧은 비디오 클립(프레임 조각)을 하위 레벨의 LSTMs가 인코딩하고, 그 결과로 나오는 은닉 상태를 상위 레벨의 LSTM에 입력하여 장거리 의존성을 모델링하는 계층적 아키텍처를 사용한다.
• 이 프레임워크는 프레임 수준 표현을 세그먼트 수준 벡터로 조합함으로써 상위 레벨 LSTM의 입력 시퀀스 길이를 크게 단축시켜 효율성과 장거리 모델링 능력을 향상시킨다.
• 비선형성은 계층적 스택을 통해 향상되며, 계산 비용이 비례적으로 증가하지 않으면서도 단순한 깊이 스택보다 더 표현력 있는 특징 학습을 가능하게 한다.
• 모델은 인코더-디코더 프레임워크를 사용해 엔드 투 엔드로 훈련되며, 캡션 생성 중 관련 비디오 세그먼트에 주의를 기울일 수 있도록 디코더에 주의 메커니즘을 추가한다.
• 비디오 표현은 광학 흐름이나 3D ConvNets를 요구하지 않고 오직 RGB 프레임에서 추출되므로 계산적으로 효율적이다.
• 계층적 설계 덕분에 다양한 해상도에서 시간 전이를 모델링할 수 있으며, 예를 들어 한 행동 내의 운동과 서로 다른 행동 간 전이를 모두 포착할 수 있다.

실험 결과

연구 질문

• RQ1 표준 RNN에 비해 계산 비용을 줄이며 비디오에서 장거리 시간적 의존성을 효과적으로 모델링할 수 있는 계층적 순환 아키텍처는 가능한가?
• RQ2 모델의 깊이나 추론 비용을 증가시키지 않으면서도 LSTMs의 계층적 스택이 비선형성과 표현 능력을 어떻게 향상시키는가?
• RQ3 HRNE는 비디오 세그먼트 내외에서 다중 해상도의 시간적 구조를 모델링하여 비디오 이해 작업을 향상시킬 수 있는가?
• RQ4 HRNE는 RGB 입력만으로도 RGB + 3D ConvNet 또는 광학 흐름과 같은 융합 입력을 사용하는 모델들을 능가하는 비디오 캡션 분야에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• HRNE는 MSVD 데이터셋에서 METEOR 점수 33.1을 기록하여, RGB + 3D ConvNet을 융합한 입력을 사용하는 이전의 모든 방법들을 능가한다.
• 더 도전적인 M-VAD 데이터셋에서는 HRNE가 METEOR 점수 5.8%를 기록하여 S2VT와 SA를 초월하며, 주의 메커니즘을 추가하면 6.8%로 향상된다.
• 광학 흐름이나 3D ConvNets 없이 오직 RGB 입력만으로도 다중 스트림 입력을 사용하는 시스템을 뛰어넘는 성능을 보이며, 이는 효율성과 효과성의 증거이다.
• 계층적 설계 덕분에 상위 레벨 LSTM의 효과적 시퀀스 길이가 단축되어 장거리 모델링 능력은 향상되면서도 계산 효율성은 유지된다.
• 다중 해상도 시간 전이를 포착할 수 있는 모델의 능력은 정성적 예시를 통해 더 일관되고 정확한 비디오 설명을 가능하게 한다.
• 데이터 증강이나 다중 데이터셋 훈련 없이도 HRNE의 성능은 높은 수준을 유지하여 강력한 일반화 능력과 강력한 특징 학습 능력을 보여준다.