[논문 리뷰] Video Key Frame Extraction using Entropy value as Global and Local Feature

Siddu P. Algur, R Vivek|arXiv (Cornell University)|2016. 05. 28.

Video Analysis and Summarization참고 문헌 7인용 수 10

한 줄 요약

이 논문은 전역 및 국소적 특징으로 엔트로피를 사용하는 새로운 비디오 关键 프레임 추출 방법을 제안한다. 전역 엔트로피로 프레임을 분류하여 대표적인 关键 프레임을 선정하고, 국소 엔트로피를 적용하여 중복을 제거함으로써 개선된 콘텐츠 표현과 감소된 중복을 갖춘 효과적인 비디오 개요 작성을 달성한다.

ABSTRACT

Key frames play an important role in video annotation. It is one of the widely used methods for video abstraction as this will help us for processing a large set of video data with sufficient content representation in faster way. In this paper a novel approach for key-frame extraction using entropy value is proposed. The proposed approach classifies frames based on entropy values as global feature and selects frame from each class as representative key-frame. It also eliminates redundant frames from selected key-frames using entropy value as local feature. Evaluation of the approach on several video clips has been presented. Results show that the algorithm is successful in helping annotators automatically identify video key-frames.

연구 동기 및 목표

• 대규모 비디오 데이터셋을 효율적으로 요약하기 위해 대표적인 关键 프레임을 식별하는 데 도전한다.
• 시각적 중복성과 콘텐츠 변동성에 대한 강건성 부족으로 인해 기존의 关键 프레임 추출 방법의 한계를 극복한다.
• 더 나은 프레임 선택과 중복 제거를 위해 전역 및 국소 엔트로피 특징을 통합함으로써 비디오 개요를 향상시킨다.
• 필수 콘텐츠를 유지하면서도 프레임 수를 줄임으로써 더 빠른 비디오 처리 및 주석 작업을 가능하게 한다.
• 대규모 비디오 주석 작업에 적합한 확장 가능하고 자동화된 关键 프레임 추출 솔루션을 제공한다.

제안 방법

• 각 비디오 프레임의 전역 엔트로피를 계산하여 전반적인 강도 변화와 장면의 복잡성을 평가한다.
• 전역 엔트로피 값에 기반해 프레임을 군집화하여 구분되는 장면 유형을 식별한다.
• 사전 정의된 선정 기준을 사용하여 엔트로피 기반 군집에서 하나의 대표 关键 프레임을 선정한다.
• 선택된 关键 프레임에 대해 국소 엔트로피 분석을 적용하여 시각적으로 유사한 프레임을 탐지하고 제거한다.
• 국소 엔트로피를 무늬와 세부 정보 변화의 척도로 사용하여 유사해 보이는 프레임을 구분한다.
• 전역 및 국소 엔트로피 특징을 결합하여 최종 关键 프레임 세트의 콘텐츠 다양성과 시각적 독창성을 균형 잡는다.

실험 결과

연구 질문

• RQ1 엔트로피는 비디오 프레임을 구분되는 장면 카테고리로 분류하는 데 효과적인 전역적 특징이 될 수 있는가?
• RQ2 초기 선정 후 국소 엔트로피를 사용하여 중복된 关键 프레임을 탐지하고 제거할 수 있는가?
• RQ3 전역 및 국소 엔트로피의 통합이 추출된 关键 프레임의 품질과 다양성에 향상 효과를 줄 수 있는가?
• RQ4 콘텐츠 표현력과 중복성 측면에서 기존의 关键 프레임 추출 기법과 비교해 본다면 제안된 방법은 어떻게 성능을 내는가?
• RQ5 다양한 비디오 콘텐츠 유형과 다양한 장면 전환 상황에서도 일관된 성능을 발휘할 수 있는가?

주요 결과

• 제안된 방법은 전역 엔트로피 값에 기반한 군집화를 통해 대표적인 关键 프레임을 성공적으로 식별한다.
• 국소 엔트로피 분석은 시각적으로 유사한 关键 프레임을 제거함으로써 중복을 효과적으로 감소시킨다.
• 다양한 비디오 클립에 대한 평가를 통해 필수 콘텐츠를 유지하면서도 프레임 수를 최소화할 수 있음을 확인했다.
• 전역 및 국소 엔트로피 특징의 통합은 최종 关键 프레임 세트의 다양성과 시각적 독창성을 모두 향상시킨다.
• 알고리즘은 다양한 비디오 유형에서 강건한 성능을 보이며, 자동 비디오 주석 및 개요 작성을 지원한다.
• 결과적으로 전통적 방법에 비해 콘텐츠 표현력과 중복 감소 측면에서 더 우수한 성능을 보였다.