[논문 리뷰] Hierarchical Recurrent Neural Network for Video Summarization

Bin Zhao, Xuelong Li외 1명|arXiv (Cornell University)|2019. 04. 28.

Video Analysis and Summarization참고 문헌 35인용 수 4

한 줄 요약

이 논문은 영상 요약을 위한 이중층 계층적 순환 신경망인 H-RNN을 제안한다. H-RNN는 내부 서브샷 간 및 서브샷 간 시간적 종속성을 별도로 모델링한다. 짧은 영상 서브샷에는 단방향 LSTM를, 서브샷 수준의 종속성에는 양방향 LSTM를 사용함으로써, 계산량을 줄이고 장거리 시간적 구조를 효과적으로 포착하여, Combined 및 VTW 데이터셋에서 최신 기술을 능가한다.

ABSTRACT

Exploiting the temporal dependency among video frames or subshots is very important for the task of video summarization. Practically, RNN is good at temporal dependency modeling, and has achieved overwhelming performance in many video-based tasks, such as video captioning and classification. However, RNN is not capable enough to handle the video summarization task, since traditional RNNs, including LSTM, can only deal with short videos, while the videos in the summarization task are usually in longer duration. To address this problem, we propose a hierarchical recurrent neural network for video summarization, called H-RNN in this paper. Specifically, it has two layers, where the first layer is utilized to encode short video subshots cut from the original video, and the final hidden state of each subshot is input to the second layer for calculating its confidence to be a key subshot. Compared to traditional RNNs, H-RNN is more suitable to video summarization, since it can exploit long temporal dependency among frames, meanwhile, the computation operations are significantly lessened. The results on two popular datasets, including the Combined dataset and VTW dataset, have demonstrated that the proposed H-RNN outperforms the state-of-the-arts.

연구 동기 및 목표

• 긴 영상에서 장거리 시간적 종속성을 모델링하는 데 있어 표준 RNN의 한계를 해결하기 위해.
• 프레임 내 서브샷과 전체 영상 내 서브샷 간의 계층적 영상 구조를 활용하여 영상 요약을 향상시키기 위해.
• 긴 영상 시퀀스에 직접 적용된 표준 RNN과 비교해 계산 비용과 정보 손실을 줄이기 위해.
• 영상 요약에서 더 나은 표현 학습을 위해 비선형 적합 능력을 향상시키기 위해.
• 기존의 RNN 기반 영상 요약 모델보다 더 효과적이고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• 모델은 이중층 계층적 RNN을 사용한다: 첫 번째 레이어는 개별 영상 서브샷을 처리하는 단방향 LSTM이다.
• 각 서브샷은 원본 영상에서 균일하게 잘라내며, 첫 번째 레이어 LSTM의 최종 은닉 상태가 서브샷 수준의 표현으로 추출된다.
• 두 번째 레이어는 서브샷 표현의 시퀀스를 처리하여 전방 및 후방 서브샷 간 종속성을 모델링하는 양방향 LSTM이다.
• 양방향 LSTM의 최종 출력은 각 서브샷이 요약에서 핵심 서브샷으로 선택될 확률을 예측하는 데 사용된다.
• 계층적 설계 덕분에 더 짧은 효과적 시간 단위로 장거리 시간적 모델링이 가능해져 정보 손실과 계산 부담이 감소한다.
• 키 서브샷 선택 최적화를 위해 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 표준 RNN보다 계층적 RNN 아키텍처가 긴 영상 시퀀스에서 장거리 시간적 종속성을 더 잘 모델링할 수 있는가?
• RQ2 서브샷 내 및 서브샷 간 시간적 종속성 모델링을 분리함으로써 영상 요약 성능이 향상되는가?
• RQ3 계층적 설계는 표준 RNN과 비교해 계산 비용을 줄이면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 서브샷 간 종속성을 포착하는 데 있어, 두 번째 레이어의 양방향 LSTM은 단방향 또는 단일 레이어 RNN보다 우수한가?
• RQ5 계층적 구조는 영상 요약 작업에서 비선형 적합 능력을 얼마나 향상시키는가?

주요 결과

• H-RNN는 Combined 및 VTW 데이터셋에서 모두 최신 기술인 vsLSTM 및 dppLSTM를 능가한다.
• VTW 데이터셋에서 H-RNN는 2D 및 3D CNN을 조합한 HD-VS보다 우수한 성능을 보였는데, 이는 더 나은 장시퀀스 모델링 능력 덕분이다.
• 두 번째 레이어의 양방향 LSTM은 단일 방향 LSTM보다 성능 향상이著명하여 전방 및 후방 맥락을 모두 모델링하는 것이 중요함을 확인한다.
• 고정된 80프레임 입력 길이를 가진 단일 및 양방향 LSTM보다 H-RNN이 더 우수한 성능을 내어, 평균 풀링이나 균일 샘플링 대비 계층적 처리의 이점이 뚜렷하다.
• 계층적 구조는 정보 손실과 계산 부담을 줄이며 비선형 적합 능력을 향상시켜 요약 품질을 향상시킨다.
• H-RNN가 생성한 예시 요약은 인간이 애너테이션한 핵심 서브샷과 매우 유사하여 인간이 중요하다고 인식하는 바와 강한 일치를 보인다.