[논문 리뷰] Query-Conditioned Three-Player Adversarial Network for Video Summarization.

Yujia Zhang, Michael Kampffmeyer외 3명|arXiv (Cornell University)|2018. 07. 01.

Video Analysis and Summarization인용 수 5

한 줄 요약

이 논문은 사용자 쿼리와 영상 콘텐츠를 함께 모델링하여 사용자 중심 요약을 생성하기 위해 쿼리 조건부 세 플레이어 생성 적대적 네트워크(3P-GAN)를 제안한다. 세 플레이어 손실 메커니즘을 도입함으로써 요약 품질을 향상시키고 잡다한 생성을 방지하여 기준 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Video summarization plays an important role in video understanding by selecting key frames/shots. Traditionally, it aims to find the most representative and diverse contents in a video as short summaries. Recently, a more generalized task, query-conditioned video summarization, has been introduced, which takes user queries into consideration to learn more user-oriented summaries. In this paper, we propose a query-conditioned three-player generative adversarial network to tackle this challenge. The generator learns the joint representation of the user query and the video content, and the discriminator takes three pairs of query-conditioned summaries as the input to discriminate the real summary from a generated and a random one. A three-player loss is introduced for joint training of the generator and the discriminator, which forces the generator to learn better summary results, and avoids the generation of random trivial summaries. Experiments on a recently proposed query-conditioned video summarization benchmark dataset show the efficiency and efficacy of our proposed method.

연구 동기 및 목표

• 사용자 쿼리를 요약 과정에 통합하여 사용자 중심 영상 요약을 생성하는 데 도전 과제를 해결한다.
• 기존 영상 요약 기법이 대표성과 다양성에만 초점을 맞추며 쿼리 관련성을 고려하지 않는 한계를 극복한다.
• 요약 품질 향상을 위해 쿼리-영상 표현을 함께 학습하는 생성 적대적 프레임워크를 개발한다.
• 새로운 세 플레이어 적대적 훈련 메커니즘을 통해 생성자가 무작위 또는 잡다한 요약을 생성하는 것을 방지한다.

제안 방법

• 생성자는 영상 및 쿼리 입력에서 쿼리 조건부 영상 요약을 생성하는 세 플레이어 GAN 아키텍처를 제안한다.
• 실제 요약, 생성된 요약, 무작위 요약의 세 쌍을 평가하는 디스커미네이터를 설계하여, 쿼리 조건부 입력을 사용해 구분 능력을 향상시킨다.
• 생성자와 디스커미네이터를 동시에 최적화하여 요약 품질과 다양성을 향상시키는 세 플레이어 손실 함수를 도입한다.
• 생성자가 영상 콘텐츠와 사용자 쿼리의 공동 표현을 학습하도록 하여 맥락 인식 요약 생성을 가능하게 한다.
• 세 가지 다른 유형의 요약을 사용한 적대적 훈련을 통해 학습 안정성을 확보하고 잡다한 출력을 억제한다.
• 최근에 제안된 쿼리 조건부 영상 요약 기준 데이터셋을 활용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 표준 GAN과 비교해 세 플레이어 GAN 프레임워크가 쿼리 조건부 영상 요약의 품질과 관련성에 기여하는가?
• RQ2 제안된 세 플레이어 손실이 생성자가 무작위 또는 정보가 없는 요약을 생성하는 것을 얼마나 효과적으로 방지하는가?
• RQ3 쿼리와 영상 콘텐츠를 함께 모델링함으로써 요약의 관련성과 다양성은 어느 정도 향상되는가?
• RQ4 디스커미네이터가 실제, 생성된, 무작위 요약을 세 가지로 구분할 수 있는 능력이 생성자의 성능 향상에 기여하는가?

주요 결과

• 제안된 3P-GAN은 최근 쿼리 조건부 영상 요약 기준 데이터셋에서 뛰어난 성능을 달성한다.
• 세 플레이어 손실 메커니즘이 잡다하거나 정보가 없는 요약의 생성을 효과적으로 줄인다.
• 쿼리와 영상 콘텐츠의 공동 모델링은 기준 방법 대비 더 관련성 있고 다양한 요약을 만들어낸다.
• 디스커미네이터의 삼중 분류 작업이 생성자가 고품질의 사용자 중심 요약을 생성하는 데 기여한다.