[論文レビュー] Photo Filter Recommendation by Category-Aware Aesthetic Learning

Wei-Tse Sun, Ting-Hsuan Chao+2 more|arXiv (Cornell University)|Aug 18, 2016

Visual Attention and Saliency Detection参考文献 26被引用数 7

ひとこと要約

本論文では、ユーザーの好みに基づいてフォトフィルターを推薦するためのカテゴリに配慮した美的学習フレームワークを提案する。マルチカラムCNNとペairワイズ損失関数を用いることで、42,240枚のフィルター処理済み画像ペアを含む新規のクラウドソーシングデータセット（FACD）を活用し、従来の美的分類手法に比べて12%の相対的改善を達成した。

ABSTRACT

Nowadays, social media has become a popular platform for the public to share photos. To make photos more visually appealing, users usually apply filters on their photos without domain knowledge. However, due to the growing number of filter types, it becomes a major issue for users to choose the best filter type. For this purpose, filter recommendation for photo aesthetics takes an important role in image quality ranking problems. In these years, several works have declared that Convolutional Neural Networks (CNNs) outperform traditional methods in image aesthetic categorization, which classifies images into high or low quality. Most of them do not consider the effect on filtered images; hence, we propose a novel image aesthetic learning for filter recommendation. Instead of binarizing image quality, we adjust the state-of-the-art CNN architectures and design a pairwise loss function to learn the embedded aesthetic responses in hidden layers for filtered images. Based on our pilot study, we observe image categories (e.g., portrait, landscape, food) will affect user preference on filter selection. We further integrate category classification into our proposed aesthetic-oriented models. To the best of our knowledge, there is no public dataset for aesthetic judgment with filtered images. We create a new dataset called Filter Aesthetic Comparison Dataset (FACD). It contains 28,160 filtered images based on the AVA dataset and 42,240 reliable image pairs with aesthetic annotations using Amazon Mechanical Turk. It is the first dataset containing filtered images and user preference labels. We conduct experiments on the collected FACD for filter recommendation, and the results show that our proposed category-aware aesthetic learning outperforms aesthetic classification methods (e.g., 12% relative improvement).

研究の動機と目的

• 増加するフィルター選択肢の中から最適なフィルターを選択する課題に取り組む。特に、ユーザーの好みが画像のカテゴリによって異なるという点を考慮する。
• 画像の美的価値を絶対的品質スコアとしてではなく、ペアワイズ比較を通じてモデル化することで、人間の好みをより正確に反映するフィルター推薦を向上させる。
• 画像のカテゴリ分類と美的反応学習を統合した深層学習フレームワークを構築し、一般化性能と性能の向上を図る。
• 42,240枚のフィルター処理済み画像ペアとユーザーの好みのアノテーションを含む新規の公開データセットFACDを構築・公開する。
• カテゴリに配慮した美的学習が、標準的な美的分類手法に比べてフィルター推薦タスクで優れていることを実証する。

提案手法

• 同じ入力画像の異なるフィルター処理版を別々のカラムで処理するマルチカラムCNNアーキテクチャを設計し、それぞれが異なる美的反応を学習する。
• クラウドソーシングによる比較から得たユーザーの好みに基づき、より高品質なフィルター画像を低い品質のものより上位にランク付けするよう促すカスタムペアワイズ損失関数を導入する。
• 多タスク学習の枠組みにおいて、画像カテゴリ分類を補助タスクとして統合することで、美的反応予測の堅牢性と精度を向上させる。
• 最終分類層をペアワイズランク付けヘッドに置き換えることで、SOTAのCNNアーキテクチャ（例：ResNet、VGG）を美的ランク付けに適応させる。
• FACDデータセットを用いてエンドツーエンドでモデルを学習する。各訓練サンプルは、元画像、2つのフィルター処理済みバージョン、およびどちらのフィルターが好まれたかを示す好みラベルからなるトリプレットである。
• ネットワークから得られた美的スコアを用いてフィルターをランク付けし、入力画像に対してスコアが最も高いものを推薦する。

実験結果

リサーチクエスチョン

• RQ1 画像のカテゴリ情報を組み込むことで、フィルター推薦システムの性能がどの程度向上するか？
• RQ2 ペアワイズ比較に基づく学習は、フィルター推薦の文脈において、従来の画像美的分類手法を上回るのか？
• RQ3 ハイコントラストや温かみのあるトーンといった異なるフィルターの種類（例：ハイコントラスト、温かみのあるトーン）が、画像カテゴリごとのユーザーの好みにどの程度影響を与えるか？
• RQ4 ペアワイズ美的比較に基づいて学習したCNNモデルは、未観測のフィルター処理済み画像に対してどの程度一般化できるか？
• RQ5 フィルター固有の視覚的特徴（例：明るさ、彩度、色調）が、モデルのユーザー好み予測能力に与える影響は何か？

主な発見

• 提案されたカテゴリに配慮した美的学習手法は、ベースラインの美的分類手法に比べ、フィルター推薦性能で12%の相対的改善を達成した。
• モデルは人間の好みと強く整合しており、画像カテゴリごとに予測されたフィルター分布が、実際の分布とよく一致していることが示された。
• コントラストが高く、色の強調が強いフィルター（例：Hefe、Mayfair、XProII）は一貫して好まれており、モデルはこれらを適切に高い順位にランク付けするのを学習した。
• モデルはコントラストに対して色温度よりも感受性が高く、Gothamと同程度の温かみのあるトーン効果であっても、XProIIの方が好まれる傾向にある。
• FACDデータセットは、フィルター推薦システムの信頼性ある評価を可能にし、ユーザーの好みが画像カテゴリとフィルターの種類に強く依存していることが明らかになった。
• 単一カラムのCNNでさえ、Fisher Vectorなどの従来のハンドクラフト特徴手法に比べてAVAベンチマークでほぼ5%の向上を示し、美的ランク付けにおける深層学習の有効性を裏付けた。