[論文レビュー] A Survey of Hand Crafted and Deep Learning Methods for Image Aesthetic Assessment.

Saira Kanwal, Muhammad Uzair+1 more|arXiv (Cornell University)|Mar 22, 2021

Visual Attention and Saliency Detection参考文献 95被引用数 4

ひとこと要約

このサーベイは、バランス、コントラスト、調和などの特徴を分析して、画像を美しさの等級に分類する、手作業で設計された特徴量とディープラーニング手法をレビューしている。本稿は、異なる手法間でのパフォーマンスを比較し、特定のモデルや特徴量が他のものよりも優れている理由を同定し、それらの背景にある洞察を提供する。

ABSTRACT

Automatic image aesthetics assessment is a computer vision problem that deals with the categorization of images into different aesthetic levels. The categorization is usually done by analyzing an input image and computing some measure of the degree to which the image adhere to the key principles of photography (balance, rhythm, harmony, contrast, unity, look, feel, tone and texture). Owing to its diverse applications in many areas, automatic image aesthetic assessment has gained significant research attention in recent years. This paper presents a literature review of the recent techniques of automatic image aesthetics assessment. A large number of traditional hand crafted and deep learning based approaches are reviewed. Key problem aspects are discussed such as why some features or models perform better than others and what are the limitations. A comparison of the quantitative results of different methods is also provided at the end.

研究の動機と目的

• 自動画像美しさ評価分野における最近の技術を包括的にレビューすること。
• 手作業特徴量ベースとディープラーニングベースのアプローチの長所と短所を分析すること。
• ベンチマークデータセットを用いた、異なる手法の定量的パフォーマンスを比較すること。
• 特定の特徴量やモデルが美しさ分類において他のものよりも優れている理由を特定すること。
• 画像美しさ評価分野における主な課題と未解決問題を強調すること。

提案手法

• 学術誌および国際会議論文から、最近の自動画像美しさ評価分野の研究を体系的レビューすること。
• 手法を手作業特徴量ベースとディープラーニングベースのアプローチに分類すること。
• バランス、リズム、調和、コントラスト、統一感、トーン、テクスチャといった、根幹となる写真的原則を分析すること。
• ベンチマークデータセットを用いた標準的な指標を用いてモデルのパフォーマンスを評価し、人的判断との相関関係を検証すること。
• ピアソン係数やスピアマン係数などの相関係数および平均二乗誤差に基づいて、異なる手法間の結果を比較すること。
• 性能向上に寄与する特徴工学およびネットワークアーキテクチャの繰り返しパターンを同定すること。

実験結果

リサーチクエスチョン

• RQ1 画像美しさ評価に最も効果的な手作業特徴量は何か？また、それらは写真的原則とどのように関連しているか？
• RQ2 パフォーマンスと汎化性能の観点から、ディープラーニングモデルは従来の手作業特徴量手法に比べてどのように異なるか？
• RQ3 特定のモデルや特徴量セットが、人的な美しさ判断と高い相関を示す理由は何か？
• RQ4 現在の自動画像美しさ評価手法における主な制限事項と課題は何か？
• RQ5 最も一般的に使用されるデータセットと評価指標は何か？それらは報告されたパフォーマンスにどのように影響を与えているか？

主な発見

• ディープラーニングベースの手法は、人的判断との相関という観点で、手作業特徴量アプローチを一般に上回っている。
• 構図、コントラスト、テクスチャに関連する特徴量は、複数のモデルやデータセットにおいて一貫して重要である。
• 低レベル特徴量と高レベル特徴量の両方を組み込んだモデルは、単一レベルの特徴量に依存するモデルよりも優れたパフォーマンスを達成する傾向にある。
• 進展は見られるものの、最先端のモデルと人的な美しさ判断との間には依然として顕著なパフォーマンスギャップが存在する。
• 評価指標やベンチマークデータセットの選定が、報告された結果に強く影響を与えるため、モデル比較には注意が必要である。
• 主な制限事項には、特定のデータセットへの過適合、ディープラーニングモデルの解釈不能性、多様な画像カテゴリにおける一貫性の欠如がある。