[論文レビュー] To Click or Not To Click: Automatic Selection of Beautiful Thumbnails from Videos

Yale Song, Мириам Реди+2 more|arXiv (Cornell University)|Sep 6, 2016

Visual Attention and Saliency Detection参考文献 33被引用数 15

ひとこと要約

本稿では、視覚的美的品質とコンテンツの関連性を組み合わせて、最も魅力的で代表的な動画フレームを特定する自動サムネイル選択システムを提案する。シャープネス、テクスチャ、コントラストなどの視覚的メトリクスを分析し、コンテンツの関連性を評価するためにクラスタリングを用いることで、Yahoo Screenの1,118本の動画からなる実世界のデータセットにおいて、プロが選んだサムネイルを高い精度で予測するシステムを実現した。

ABSTRACT

Thumbnails play such an important role in online videos. As the most representative snapshot, they capture the essence of a video and provide the first impression to the viewers; ultimately, a great thumbnail makes a video more attractive to click and watch. We present an automatic thumbnail selection system that exploits two important characteristics commonly associated with meaningful and attractive thumbnails: high relevance to video content and superior visual aesthetic quality. Our system selects attractive thumbnails by analyzing various visual quality and aesthetic metrics of video frames, and performs a clustering analysis to determine the relevance to video content, thus making the resulting thumbnails more representative of the video. On the task of predicting thumbnails chosen by professional video editors, we demonstrate the effectiveness of our system against six baseline methods, using a real-world dataset of 1,118 videos collected from Yahoo Screen. In addition, we study what makes a frame a good thumbnail by analyzing the statistical relationship between thumbnail frames and non-thumbnail frames in terms of various image quality features. Our study suggests that the selection of a good thumbnail is highly correlated with objective visual quality metrics, such as the frame texture and sharpness, implying the possibility of building an automatic thumbnail selection system based on visual aesthetics.

研究の動機と目的

• 動画から視覚的に魅力的でコンテンツに関連するサムネイルを自動的に選択するシステムを開発すること。手動でのキュレーションに依存するのを減らすことを目的とする。
• 時間的・人的リソースの制約により、手動での選択が非現実的となる大規模な動画制作におけるサムネイル選択の課題に対処すること。
• 大規模で実世界のデータセットを用いて、プロがキュレーションしたサムネイルを対象に、既存の手法と比較して本システムの性能を評価すること。
• 高品質なサムネイルと非サムネイルを区別するのに関与する、客観的な視覚的特徴を同定し、データ駆動型のサムネイル選択を可能にする。
• 計算美的学と視覚的品質メトリクスに基づいた自動サムネイル選択システムの構築可能性を検討すること。

提案手法

• システムは、各動画フレームについて、シャープネス、コントラスト、テクスチャ（GLCMを介して）、明るさ、色の分布といった視覚的品質および美的メトリクスを分析する。
• フレーム特徴量を用いてk-meansを適用し、動画の主なコンテンツに関連する代表的なコンテンツクラスタを同定することで、選択されたサムネイルが動画の主要な内容を的確に反映することを保証する。
• 低品質でかつ類似度の高いフレーム（近似重複フレーム）はパイプラインの初期段階でフィルタリングされ、計算効率を向上させるとともに、有望な候補に集中する。
• トレーニングデータやディープラーニングを必要とせず、教師なし学習（クラスタリングのみ）を用いることで、標準のハードウェアでも高速な推論が可能になる。
• フレームの魅力度は、シャープネスやコントラストが最も重要な予測要因である重み付き組み合わせによる、客観的な視覚的品質特徴に基づいてスコア化される。
• 評価プロトコルとして、プロの編集者が手動で選択したサムネイルを含む1,118本の動画からなるデータセットが使用された。

実験結果

リサーチクエスチョン

• RQ1 どの視覚的品質メトリクスがプロのサムネイル選択を最も予測可能か？
• RQ2 視覚的特徴のクラスタリングによって測定されるコンテンツの関連性は、代表的なサムネイルの選択にどのように寄与するか？
• RQ3 シャープネス、テクスチャ、コントラストといった客観的な視覚的メトリクスは、人間が選んだサムネイルをどの程度まで予測できるか？
• RQ4 本手法は、実世界のプロが選んだサムネイルを含むデータセットにおいて、6つのベースライン手法と比較してどの程度の性能を示すか？
• RQ5 美的品質とコンテンツの関連性のどちらが、サムネイル品質の決定要因として相対的に重要か？

主な発見

• 本手法は、Yahoo Screenの1,118本の動画からなるデータセットにおいて、プロの動画編集者が選んだサムネイルを予測する上で、6つのベースライン手法を上回る性能を示した。
• カイ二乗検定（χ²検定）の結果、シャープネスとコントラストは、サムネイルと非サムネイルを区別する上で、2番目および4番目に顕著な視覚的特徴であった。
• 編集者が選んだサムネイルは、GLCM特徴量において、より高いテクスチャエントロピーとコントラスト、より低いエネルギーと均一性を示しており、より複雑で情報量の多い構図であることが示された。
• サムネイルは、色の多様性（Hue Contrast）が高く、支配的または暗い色を避け、明るさのランク分位数が低いため、過度に暗くない傾向にある。
• 標準のラップトップPCで単一CPUを用いて、動画長の10％未満の時間でサムネイルを生成でき、高い計算効率を示した。
• 本研究では、プロのサムネイル選択が客観的な視覚的品質メトリクスと強く相関していることが明らかになった。これは、計算美的学が自動選択を効果的に支援できることを示唆している。