[논문 리뷰] Exploring global diverse attention via pairwise temporal relation for video summarization

Ping Li, Qinghao Ye외 4명|arXiv (Cornell University)|2020. 09. 23.

Video Analysis and Summarization참고 문헌 44인용 수 7

한 줄 요약

이 논문은 모든 프레임 간의 쌍별 시간 관계를 통해 전역 다각도주의(global diverse attention)를 사용하는 비디오 요약 모델인 SUM-GDA를 제안한다. 이는 프레임의 다양성과 요약 품질을 향상시키기 위해 설계되었으며, 모든 프레임 쌍 간의 유사도를 모델링하고 결정성 점 과정(Determinantal Point Process, DPP)을 활용함으로써 RNN 기반 방법보다 낮은 계산 비용으로 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Video summarization is an effective way to facilitate video searching and browsing. Most of existing systems employ encoder-decoder based recurrent neural networks, which fail to explicitly diversify the system-generated summary frames while requiring intensive computations. In this paper, we propose an efficient convolutional neural network architecture for video SUMmarization via Global Diverse Attention called SUM-GDA, which adapts attention mechanism in a global perspective to consider pairwise temporal relations of video frames. Particularly, the GDA module has two advantages: 1) it models the relations within paired frames as well as the relations among all pairs, thus capturing the global attention across all frames of one video; 2) it reflects the importance of each frame to the whole video, leading to diverse attention on these frames. Thus, SUM-GDA is beneficial for generating diverse frames to form satisfactory video summary. Extensive experiments on three data sets, i.e., SumMe, TVSum, and VTW, have demonstrated that SUM-GDA and its extension outperform other competing state-of-the-art methods with remarkable improvements. In addition, the proposed models can be run in parallel with significantly less computational costs, which helps the deployment in highly demanding applications.

연구 동기 및 목표

• 순차적 처리에 의존하는 RNN 기반 비디오 요약 모델에서 명시적인 다양성 부족 문제를 해결하기 위해.
• 반복 계산 없이 장거리 시간적 의존성을 캡처할 수 있는 효율적이고 병렬 처리 가능한 아키텍처를 개발하기 위해.
• 모든 프레임 간의 쌍별 유사도를 통해 전역적 프레임 관계를 모델링하여 선택된 요약 프레임의 의미적 다양성을 향상시키기 위해.
• 최소한의 인간 주석이 필요한 감독 및 비감독 비디오 요약을 가능하게 하기 위해.
• 기준 데이터셋에서 최신 기술 성능을 유지하거나 초월하면서도 계산 효율성을 향상시키기 위해.

제안 방법

• 전역 다각도주의(GDA) 모듈은 모든 비디오 프레임 간의 쌍별 유사도 행렬을 계산하여 다중 척도 시간 관계를 모델링한다.
• 유사도 행렬의 각 행은 특정 프레임이 다른 모든 프레임에 대해 가지는 주의 수준을 나타내며, 유사도가 낮을수록 다양성에 기여하는 중요도가 높다.
• 불일치 가중치에서 유도된 프레임 중요도 점수는 의미적으로 다른 프레임의 선택을 촉진한다.
• 결정성 점 과정(DPP)을 적용하여 높은 점수를 받은 프레임 중에서 다양성이 확보된 하위 집합을 최종 요약에 선택한다.
• 모델는 전체 GPU 병렬 처리가 가능한 컨volution 신경망(CNN) 아키텍처로 구현되어 추론 비용을 감소시킨다.
• 운동을 캡처하기 위해 입력 모odal로 광학 흐름 특징을 통합하였지만, 데이터셋에 따라 그 영향은 다소 다를 수 있다.

실험 결과

연구 질문

• RQ1 모든 비디오 프레임 간의 쌍별 시간 관계를 효과적으로 모델링하여 비디오 요약에서 전역 주의와 프레임 다양성을 향상시킬 수 있는가?
• RQ2 프레임 간 쌍별 유사도에 기반한 전역 주의 메커니즘이 자동재귀적 RNN 기반 방법보다 요약 품질과 효율성 면에서 뛰어나게 되는가?
• RQ3 광학 흐름 특징을 통합함으로써 다양한 비디오 데이터셋에서 요약 성능이 어느 정도 향상되는가?
• RQ4 제안된 방법이 감독 및 비감독 설정 모두에서 뛰어난 성능을 달성할 수 있는가?
• RQ5 전역 다각도주의 메커니즘이 생성된 요약에서 재중복성을 줄이고 의미적 완전성을 향상시키는 데 기여하는 방식은 무엇인가?

주요 결과

• SUM-GDA는 SumMe, TVSum, VTW 데이터셋에서 최신 기술 성능을 달성하였으며, 표준 설정에서 TVSum에서 61.0 F1 점수를 기록했다.
• 모델은 VTW에서 60.2, SumMe에서 59.6의 F1 점수를 확보하여 이전 최신 기술 방법을 능가했다.
• 비감독 설정에서 SUM-GDA unsup은 SumMe에서 59.6 F1, VTW에서 60.2 F1을 기록하여 강력한 제로샷(zero-shot) 능력을 입증했다.
• 광학 흐름 특징은 동작이 많은 TVSum에서 성능을 크게 향상시켰다(F1: 59.2 → 61.0)만, SumMe와 VTW에서는 운동이 관련이 없는 장면으로 인해 성능이 저하되었다.
• RNN의 순차적 종속성을 피하고 병렬 처리 가능한 CNN 아키텍처를 통해 계산 비용을 감소시켰다.
• 시각화 결과는 전역 다각도주의 메커니즘이 의미적으로 다양한 프레임을 효과적으로 선택하여 요약의 재중복성을 줄이는 데 기여함을 확인했다.