[논문 리뷰] To Click or Not To Click: Automatic Selection of Beautiful Thumbnails from Videos

Yale Song, Мириам Реди외 2명|arXiv (Cornell University)|2016. 09. 06.

Visual Attention and Saliency Detection참고 문헌 33인용 수 15

한 줄 요약

이 논문은 시각적 미적 품질과 콘텐츠 관련성을 결합하여 가장 매력적이고 대표적인 영상 프레임을 식별하는 자동 썸네일 선택 시스템을 제안한다. 선명도, 질감, 대비와 같은 시각적 지표를 분석하고 콘텐츠 관련성을 평가하기 위해 클러스터링을 사용함으로써, 실제로 1,118개의 영상으로 구성된 Yahoo Screen의 실세계 데이터셋에서 전문가가 선택한 썸네일을 높은 정확도로 예측하는 데 성공한다.

ABSTRACT

Thumbnails play such an important role in online videos. As the most representative snapshot, they capture the essence of a video and provide the first impression to the viewers; ultimately, a great thumbnail makes a video more attractive to click and watch. We present an automatic thumbnail selection system that exploits two important characteristics commonly associated with meaningful and attractive thumbnails: high relevance to video content and superior visual aesthetic quality. Our system selects attractive thumbnails by analyzing various visual quality and aesthetic metrics of video frames, and performs a clustering analysis to determine the relevance to video content, thus making the resulting thumbnails more representative of the video. On the task of predicting thumbnails chosen by professional video editors, we demonstrate the effectiveness of our system against six baseline methods, using a real-world dataset of 1,118 videos collected from Yahoo Screen. In addition, we study what makes a frame a good thumbnail by analyzing the statistical relationship between thumbnail frames and non-thumbnail frames in terms of various image quality features. Our study suggests that the selection of a good thumbnail is highly correlated with objective visual quality metrics, such as the frame texture and sharpness, implying the possibility of building an automatic thumbnail selection system based on visual aesthetics.

연구 동기 및 목표

• 영상에서 시각적으로 매력적이고 콘텐츠 관련성이 높은 썸네일을 자동으로 선택하는 시스템을 개발함으로써 수동 코딩에 대한 의존도를 줄이기.
• 시간과 자원 제약으로 인해 수동 선택이 비현실적인 대규모 영상 제작 환경에서 썸네일 선택 과제를 해결하기.
• 실제로 전문가가 코딩한 썸네일을 포함한 대규모 실세계 데이터셋을 사용하여 기존 방법과의 성능 비교를 수행하기.
• 고품질 썸네일과 비썸네일을 구분하는 데 기여하는 객관적인 시각적 특징을 규명하여 데이터 기반의 썸네일 선택을 가능하게 하기.
• 컴퓨테이셔널 아름다움과 시각적 품질 지표에 기반한 자동 썸네일 선택 시스템의 구현 가능성을 탐색하기.

제안 방법

• 시스템은 각 영상 프레임에 대해 선명도, 대비, 질감(GCLM를 통한), 밝기, 색상 분포와 같은 시각적 품질 및 미적 지표를 분석한다.
• 프레임 특징에 대해 k-means 클러스터링을 적용하여 가장 대표적인 콘텐츠 클러스터를 식별함으로써 선택된 썸네일이 영상의 주요 콘텐츠와 관련성이 있도록 보장한다.
• 저품질 및 근접 중복 프레임은 파ip라인의 초기 단계에서 필터링되어 계산 효율성을 향상시키고 유망한 후보에 집중한다.
• 학습 데이터나 딥러닝을 필요로 하지 않는 비지도 학습(클러스터링 전용) 방식을 사용하여 표준 하드웨어에서도 빠른 추론이 가능하다.
• 선명도와 대비가 가장 중요한 예측 변수로 작용하는 가중치 조합을 기반으로 프레임의 매력도를 평가한다.
• Yahoo Screen의 1,118개 영상로 구성된 데이터셋을 사용하여 평가 프로토콜을 수립하였으며, 썸네일은 전문 에디터가 수동으로 선택하였다.

실험 결과

연구 질문

• RQ1 전문가가 선택한 썸네일을 예측하는 데 가장 예측력이 높은 시각적 품질 지표는 무엇인가?
• RQ2 시각적 특징의 클러스터링을 통해 측정된 콘텐츠 관련성은 어떻게 대표적인 썸네일을 선택하는 데 기여하는가?
• RQ3 선명도, 질감, 대비와 같은 객관적인 시각적 지표가 인간이 선택한 썸네일을 얼마나 잘 예측할 수 있는가?
• RQ4 실세계 데이터셋에서 전문가가 선택한 썸네일을 대상으로, 제안된 시스템은 여섯 가지 기준 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ5 시각적 품질과 콘텐츠 관련성 중 어느 것이 썸네일 품질을 결정하는 데 더 중요한가?

주요 결과

• 제안된 시스템은 Yahoo Screen의 1,118개 영상로 구성된 데이터셋에서 전문가가 선택한 썸네일을 예측하는 데 여섯 가지 기준 방법보다 뛰어난 성능을 보였다.
• 카이제곱 검정 결과, 선명도와 대비가 썸네일과 비썸네일을 구분하는 데 있어 두 번째와 네 번째로 중요한 시각적 특징이었다.
• 에디터가 선택한 썸네일은 GLCM 특징에서 더 높은 질감 엔트로피와 대비를 보이며, 에너지와 균일도는 낮아 더 복잡하고 정보가 풍부한 구성임을 나타낸다.
• 썸네일은 더 높은 색상 대비(Hue Contrast, 색상 다양성)를 가지며, 지배적 또는 어두운 색상을 피하며, 밝기 순위 분위수에서 낮은 값을 보여 과도하게 어두운 편이 아님을 나타낸다.
• 표준 랩탑에서 단일 CPU를 사용하여 영상 길이의 10% 이내로 썸네일을 생성함으로써 높은 계산 효율성을 입증하였다.
• 연구 결과 전문가의 썸네일 선택이 객관적인 시각적 품질 지표와 강하게 상관됨을 규명하여, 컴퓨팅 아름다움이 자동 선택을 효과적으로 이끌 수 있음을 시사한다.