[논문 리뷰] MINI-Net: Multiple Instance Ranking Network for Video Highlight Detection

Fa-Ting Hong, Xuanteng Huang외 2명|arXiv (Cornell University)|2020. 07. 20.

Video Analysis and Summarization참고 문헌 38인용 수 5

한 줄 요약

이 논문은 약한 지도 학습 환경에서 비디오 하이라이트 검출을 위한 다중 인스턴스 랭킹 네트워크인 MINI-Net을 제안한다. 여기서 비디오는 세그먼트의 백으로 간주되며, 모델은 최대-최대 랭킹 손실을 통해 목표 이벤트의 하이라이트 세그먼트를 비하이라이트 세그먼트보다 더 높게 랭킹하는 방식으로 학습한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, CoSum에서 F1 점수 0.9278을 기록하여 수동 하이라이트 애너테이션을 필요로 하지 않으면서도 뛰어난 국소화 정확도를 보였다.

ABSTRACT

We address the weakly supervised video highlight detection problem for learning to detect segments that are more attractive in training videos given their video event label but without expensive supervision of manually annotating highlight segments. While manually averting localizing highlight segments, weakly supervised modeling is challenging, as a video in our daily life could contain highlight segments with multiple event types, e.g., skiing and surfing. In this work, we propose casting weakly supervised video highlight detection modeling for a given specific event as a multiple instance ranking network (MINI-Net) learning. We consider each video as a bag of segments, and therefore, the proposed MINI-Net learns to enforce a higher highlight score for a positive bag that contains highlight segments of a specific event than those for negative bags that are irrelevant. In particular, we form a max-max ranking loss to acquire a reliable relative comparison between the most likely positive segment instance and the hardest negative segment instance. With this max-max ranking loss, our MINI-Net effectively leverages all segment information to acquire a more distinct video feature representation for localizing the highlight segments of a specific event in a video. The extensive experimental results on three challenging public benchmarks clearly validate the efficacy of our multiple instance ranking approach for solving the problem.

연구 동기 및 목표

• 하이라이트 세그먼트에 대한 수동 애너테이션이 비용이 많이 들기 때문에 이를 고려하지 않은 비디오 하이라이트 검출 문제에 대응하기 위해.
• 다양한 이벤트가 포함된 비디오에서 비디오 수준의 레이블만 제공되는 조건에서 특정 이벤트의 하이라이트를 국소화할 수 있도록 하기 위해.
• 백 수준 모델링 접근법을 통해 모든 세그먼트 정보를 활용하여 특징 표현을 향상시키기 위해.
• 가장 가능성 있는 양성 세그먼트와 가장 어려운 음성 세그먼트를 구분할 수 있는 강력한 랭킹 메커니즘을 개발하기 위해.
• 약한 지도 학습 설정 하에서 표준 벤치마크에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 각 비디오는 고정 길이의 세그먼트로 이루어진 백으로 모델링되며, 목표 이벤트의 하이라이트를 포함하면 양성 백으로, 그렇지 않으면 음성 백으로 간주된다.
• 백 수준의 관련성 모델링을 통해 진짜 하이라이트 세그먼트 선택을 향상시키기 위해 백 분류 모듈을 도입하였다.
• 각 백 내에서 가장 가능성 있는 양성 세그먼트와 가장 어려운 음성 세그먼트 간의 점수 차이를 최대화하기 위해 최대-최대 랭킹 손실(MM-RL)을 제안하였다.
• 비디오 특징과 오디오 특징은 후기 상호작용을 통해 융합되며, 랭킹 네트워크에 입력되기 전에 완전히 연결된 계층을 거친다.
• 백 분류와 최대-최대 랭킹 목적함수의 조합을 통해 엔드 투 엔드로 학습하여 하이라이트 점수의 구분 능력을 최적화한다.
• 모델은 표준 F1 점수와 평균 정확도 지표를 사용하여 YouTube Highlights, TVSum, CoSum의 세 가지 공개 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 비디오 수준의 레이블만 제공되는 조건에서 다중 인스턴스 학습 프레임워크가 특정 이벤트의 하이라이트를 효과적으로 국소화할 수 있는가?
• RQ2 표준 랭킹 손실에 비해 최대-최대 랭킹 손실은 하이라이트 국소화 성능을 어떻게 향상시키는가?
• RQ3 시각적 특징과 청각적 특징은 하이라이트 검출 모델의 성능에 어떤 기여를 하는가?
• RQ4 백 수준 모델링은 진짜 하이라이트 세그먼트를 식별하는 데 모델의 능력을 향상시키는가?
• RQ5 제안된 MINI-Net은 표준 벤치마크에서 기존의 약한 지도 학습 및 지도 학습 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• MINI-Net은 CoSum 데이터셋에서 F1 점수 0.9278을 기록하여 이전 방법들을 크게 앞서며 새로운 최신 기술 수준의 결과를 수립하였다.
• 제거 실험 결과, 최대-최대 랭킹 손실을 제거할 경우 CoSum에서 F1 점수가 0.7759로 감소하여 이 손실 함수가 점수 구분 능력을 향상시키는 데 핵심적인 역할을 한다는 것을 확인하였다.
• 백 분류 모듈을 도입함으로써 TVSum에서 F1 점수가 65.58%에서 73.24%로 향상되었으며, 이는 관련 하이라이트 세그먼트 선택에 효과적이라는 것을 보여주었다.
• 시각적 특징만을 사용할 경우 CoSum에서 F1 점수 0.7823을 기록하였고, 청각적 특징만을 사용할 경우 0.8605를 기록하였다. 그러나 시각적 및 청각적 특징을 모두 사용한 전체 모델이 가장 높은 성능을 보였다.
• 청각적 특징을 제외한 모델(YouTube에서 F1 점수 0.6138)조차도 많은 이전 방법들을 능가하여 시각적 표현 학습의 강력함을 입증하였다.
• 제거 실험 결과, 청각적 및 시각적 특징을 병합한 결과가 가장 우수한 성능을 보였으며, 전체 모델은 YouTube Highlights에서 F1 점수 0.6436을 기록하였다.