[論文レビュー] Theme Aware Aesthetic Distribution Prediction with Full Resolution Photos.

Gengyun Jia, Peipei Li+1 more|arXiv (Cornell University)|Aug 4, 2019

Visual Attention and Saliency Detection参考文献 29被引用数 5

ひとこと要約

本稿では、画像のパディングとROIプーリングを組み合わせることで、リサイズによる歪みを回避しながら、フル解像度の画像特徴を保持する、テーマに配慮した美的分布予測手法を提案する。さらに、テーマ基準バイアスを解消するため、テーマに配慮したモデリングを統合し、グローバル構造や美的忠実性を損なわずに、フル解像度入力で最先端の性能を達成した。

ABSTRACT

Aesthetic quality assessment (AQA) of photos is a challenging task due to the subjective and diverse factors in human assessment process. Nowadays, it is common to tackle AQA with deep neural networks (DNNs) for their superior performance on modeling such complex relations. However, traditional DNNs require fix-sized inputs, and resizing various inputs to a uniform size may significantly change their aesthetic features. Such transformations lead to the mismatches between photos and their aesthetic evaluations. Existing methods usually adopt two solutions for it. Some methods directly crop fix-sized patches from the inputs. The others alternately capture the aesthetic features from pre-defined multi-size inputs by inserting adaptive pooling or removing fully connected layers. However, the former destroys the global structures and layout information, which are crucial in most situations. The latter has to resize images into several pre-defined sizes, which is not enough to reflect the diversity of image sizes, and the aesthetic features are still destroyed. To address this issue, we propose a simple and effective method that can handle the arbitrary sizes of batch inputs to achieve AQA on the full resolution images by combining image padding with ROI (region of interest) pooling. Padding keeps inputs of the same size, while ROI pooling cuts off the forward propagation of features on padding regions, thus eliminates the side effects of padding. Besides, we observe that the same image may receive different scores under different themes, which we call the theme criterion bias. However, previous works only focus on the aesthetic features of the images and ignore the criterion bias brought by their themes. In this paper, we introduce the theme information and propose a theme aware model. Extensive experiments prove the effectiveness of the proposed method over the state-of-the-arts.

研究の動機と目的

• 深層ニューラルネットワークにおける固定サイズ入力の制限を解消し、リサイズによる画像特徴の歪みを回避すること。
• クロップやマルチスケールリサイズを避けることで、グローバルな画像構造やレイアウトを維持し、推論時にフル解像度入力をそのまま保持すること。
• 同じ画像が異なるテーマのもとで異なる美的スコアを受けるという、テーマ基準バイアスを、AQAフレームワークにテーマに配慮した表現を統合することで明示的にモデル化すること。
• 固定サイズ入力に依存せず、特徴の整合性やモデル性能を損なわずに、任意の入力サイズを処理できる統合手法を開発すること。
• フル解像度処理とテーマに配慮した学習を組み合わせることで、美的分布予測の最先端の性能を達成すること。

提案手法

• 入力の元の解像度を維持するため、画像のパディングを用いることで、リサイズによる情報損失を防ぐ。
• パディング領域からの特徴伝搬を効果的に無視するため、ROIプーリングを適用し、関係のない特徴が最終予測に影響しないようにする。
• テーマエンコーダーを統合して、テーマ固有の表現を抽出し、モデルがテーマの文脈に応じて美的判断を適応可能にする。
• ゲート付きファージョン機構を用いて、テーマに配慮した特徴とフル解像度画像特徴を統合し、文脈に配慮した美的スコア分布を生成する。
• 美的品質予測とテーマに配慮した一貫性の両方を最適化するマルチタスク損失を用いて、エンドツーエンドでモデルを訓練する。
• 画像の空間構造に適合する学習可能なパディング戦略を採用し、特徴抽出プロセスへの干渉を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 固定サイズの入力に依存せず、リサイズやクロップを伴わずに、フル解像度の画像に対して深層学習モデルが美的品質評価を効果的に行えるか？
• RQ2 テーマ基準バイアスは美的判断にどのように影響するか？ また、これを明示的にモデル化することで、予測精度を向上させられるか？
• RQ3 パディングとROIプーリングによってグローバルな画像構造を保持することで、従来のリサイズ手法と比較して、美的分布予測の性能がどの程度向上するか？
• RQ4 テーマに配慮したアーキテクチャは、テーマ的文脈を無視する従来のAQAモデルを上回る性能を示せるか？
• RQ5 フル解像度処理とテーマモデリングの組み合わせにより、多様な画像データセット全体で一貫した性能向上が得られるか？

主な発見

• 本手法は、リサイズを行わずフル解像度入力を活用することで、美的分布予測ベンチマークで最先端の性能を達成した。
• ROIプーリングは、パディング領域からのノイズや関係のない特徴を効果的に抑制し、特徴の質とモデルのロバスト性を向上させた。
• テーマに配慮したモデリングの統合により、テーマ基準バイアスの影響が軽減され、より一貫性があり文脈に適した美的スコアが得られた。
• モデルはグローバルな画像構造やレイアウト情報を維持しており、正確な美的評価に不可欠な要因を保った。
• 実験の結果、固定サイズ入力に依存する従来手法や、テーマ固有の評価バイアスを無視する手法と比較して、顕著な性能向上が確認された。
• 本手法は多様な画像サイズやテーマにわたって良好に一般化し、実世界のシナリオにおいてスケーラビリティとロバスト性を示した。