[논문 리뷰] DTR-GAN: Dilated Temporal Relational Adversarial Network for Video Summarization

Yujia Zhang, Michael Kampffmeyer외 4명|arXiv (Cornell University)|2018. 04. 30.

Video Analysis and Summarization참고 문헌 6인용 수 9

한 줄 요약

이 논문은 전역적이고 다중 척도의 시간적 맥락을 포착하기 위해 확장된 시간 관계 유닛을 갖춘 DTR-GAN이라는 새로운 생성적 적대적 네트워크를 제안한다. 이를 통해 영상 요약 성능을 향상시킨다. 다중 플레이어 손실을 사용하여 요약의 완전성과 압축성을 강제함으로써, SumMe 및 TVSum 데이터셋에서 기존 최고 성능 모델들을 능가한다.

ABSTRACT

The large amount of videos popping up every day, make it is more and more critical that key information within videos can be extracted and understood in a very short time. Video summarization, the task of finding the smallest subset of frames, which still conveys the whole story of a given video, is thus of great significance to improve efficiency of video understanding. In this paper, we propose a novel Dilated Temporal Relational Generative Adversarial Network (DTR-GAN) to achieve frame-level video summarization. Given a video, it can select a set of key frames, which contains the most meaningful and compact information. Specifically, DTR-GAN learns a dilated temporal relational generator and a discriminator with three-player loss in an adversarial manner. A new dilated temporal relation (DTR) unit is introduced for enhancing temporal representation capturing. The generator aims to select key frames by using DTR units to effectively exploit global multi-scale temporal context and to complement the commonly used Bi-LSTM. To ensure that the summaries capture enough key video representation from a global perspective rather than a trivial randomly shorten sequence, we present a discriminator that learns to enforce both the information completeness and compactness of summaries via a three-player loss. The three-player loss includes the generated summary loss, the random summary loss, and the real summary (ground-truth) loss, which play important roles for better regularizing the learned model to obtain useful summaries. Comprehensive experiments on two public datasets SumMe and TVSum show the superiority of our DTR-GAN over the state-of-the-art approaches.

연구 동기 및 목표

• 영상 데이터의 증가 추세를 감안할 때, 효율적으로 핵심적이고 정보적인 프레임을 추출하는 데 도전하는 것.
• Bi-LSTM 모델이 달성할 수 있는 것 이상으로 장거리 다중 척도 시간적 의존성을 포착함으로써 영상 요약을 향상시키는 것.
• 생성된 요약이 정보적으로 완전하고 압축되어 있음을 보장하여 단순하거나 중복된 프레임 선택을 방지하는 것.
• 실제 요약, 무작위 요약, 생성된 요약을 구별할 수 있는 판별 메커니즘을 개발하여 더 나은 정규화를 이루는 것.
• 새로운 적대적 훈련 프레임워크를 사용하여 기준 영상 요약 데이터셋에서 최고 성능을 달성하는 것.

제안 방법

• 장거리 시간적 의존성을 다중 척도에서 모델링하기 위해 확장된 시간 관계(DTR) 유닛을 도입하여 전역적 맥락 표현을 향상시킨다.
• 기존의 Bi-LSTM 인코더를 보완하기 위해 다중 척도 시간적 맥락을 활용하여 핵심 프레임을 선택하는 DTR 유닛을 갖춘 생성자 네트워크를 사용한다.
• 다음 세 가지로 구성된 다중 플레이어 손실 함수를 갖춘 판별자 설계: (1) 생성된 요약 손실, (2) 무작위 요약 손실, (3) 실제 요약(지표) 손실.
• 세 플레이어 손실을 통해 생성자를 정규화하여, 무작위 시퀀스와 지표 요약을 대조함으로써 요약이 압축되고 포괄적이도록 보장한다.
• 생성자와 판별자를 적대적으로 훈련시켜, 생성자가 실제 요약과 구분되지 않도록 하면서도 무작위 요약보다 더 정보가 풍부한 요약을 생성하도록 학습시킨다.
• 적대적 프레임워크를 종단 간(end-to-end)으로 적용하여 최소한이지만 대표적인 영상 요약을 위한 프레임 선택을 최적화한다.

실험 결과

연구 질문

• RQ1 확장된 시간 관계 모듈이 영상 프레임에서 전역적이고 다중 척도의 시간적 의존성을 효과적으로 포착하여 요약 성능을 향상시킬 수 있는가?
• RQ2 제안된 세 플레이어 손실 메커니즘이 완전성과 압축성을 강제함으로써 생성된 요약의 품질을 향상시키는가?
• RQ3 표준 벤치마크에서 DTR-GAN은 기존 최고 성능 모델들과 비교해 어떤 수준의 요약 성능을 보이는가?
• RQ4 기존의 RNN 기반 인코더인 Bi-LSTM에 비해 DTR 유닛은 장거리 시간적 맥락을 포착하는 데 얼마나 향상되는가?
• RQ5 세 가지 다른 손실 성분을 갖춘 적대적 훈련이 더 강력하고 의미 있는 영상 요약을 이끌어낼 수 있는가?

주요 결과

• DTR-GAN은 기존 최고 성능 모델들에 비해 SumMe 및 TVSum 데이터셋에서 뛰어난 성능을 달성한다.
• 확장된 시간 관계(DTR) 유닛의 도입으로 모델이 장거리 및 다중 척도 시간적 의존성을 포착하는 능력이 크게 향상된다.
• 세 플레이어 손실 함수는 생성자를 효과적으로 정규화하여 압축적이면서도 핵심 정보가 풍부한 요약을 생성한다.
• 두 개의 공개 데이터셋에서 베이스라인 모델들보다 F1 점수와 F1 측정치에서 모두 우수한 성능을 보이며, 요약 품질 향상의 일관성 있는 성과를 입증한다.
• 제거 실험(ablation study) 결과, DTR 유닛과 세 플레이어 손실 모두 전체 성능 향상에 기여한다는 것이 확인된다.
• 판별자의 실제 요약, 무작위 요약, 생성된 요약을 구별하는 능력은 더 강력하고 정보가 풍부한 프레임 선택을 이끈다.