[論文レビュー] Neural Aesthetic Image Reviewer

Wenshan Wang, Su Yang+2 more|arXiv (Cornell University)|Feb 28, 2018

Visual Attention and Saliency Detection参考文献 26被引用数 3

ひとこと要約

本稿では、共有された美的意味的層とタスク固有の埋め込みを備えたマルチタスク学習フレームワークを用いて、画像の美的スコアを共同で予測するとともに、そのスコアの自然言語による説明を生成するエンドツーエンドのディーブラーニングモデルであるNeural Aesthetic Image Reviewer (NAIR)を提案する。モデルは、新たに収集されたAVA-Reviewsデータセット上で、美的分類およびコメント生成の両面でベースラインを上回り、生成されたレビューが人間の推論と一貫していることを示している。

ABSTRACT

Recently, there is a rising interest in perceiving image aesthetics. The existing works deal with image aesthetics as a classification or regression problem. To extend the cognition from rating to reasoning, a deeper understanding of aesthetics should be based on revealing why a high- or low-aesthetic score should be assigned to an image. From such a point of view, we propose a model referred to as Neural Aesthetic Image Reviewer, which can not only give an aesthetic score for an image, but also generate a textual description explaining why the image leads to a plausible rating score. Specifically, we propose two multi-task architectures based on shared aesthetically semantic layers and task-specific embedding layers at a high level for performance improvement on different tasks. To facilitate researches on this problem, we collect the AVA-Reviews dataset, which contains 52,118 images and 312,708 comments in total. Through multi-task learning, the proposed models can rate aesthetic images as well as produce comments in an end-to-end manner. It is confirmed that the proposed models outperform the baselines according to the performance evaluation on the AVA-Reviews dataset. Moreover, we demonstrate experimentally that our model can generate textual reviews related to aesthetics, which are consistent with human perception.

研究の動機と目的

• AIシステムが人間の推論と同様に画像の美的価値を認識し、自然言語による説明を生成できるかどうかを調査すること。
• 説明可能なテキストフィードバックを統合することで、従来の画像美的分類を拡張すること。
• 美的予測と記述的コメント生成の両方をエンドツーエンドで実行する統一されたディープラーニングフレームワークを構築すること。
• 52,118枚の画像と312,708件のユーザー生成コメントを含むAVA-Reviewsデータセットを収集・公開することで、説明可能な画像美的評価分野の研究を促進すること。

提案手法

• 視覚的特徴抽出にCNN、テキスト生成にRNNを組み合わせたマルチタスクニューラルアーキテクチャを提案し、両タスクのパフォーマンス向上を図るために高レベルの美的意味的層を共有する。
• 分類と生成の両タスクに最適化された特徴表現を得るために、共有された美的意味的層とタスク固有の埋め込み層を備えた、2つの新規アーキテクチャ（Model-I と Model-II）を提案する。
• 画像の視覚的特徴をエンコードし、RNNベースの言語生成器を用いて自然言語コメントにデコードするCNN-RNNフレームワークを採用する。
• 画像美的分類と自然言語コメント生成の両方を同時に最適化するマルチタスク学習を採用し、一般化性能とパフォーマンスの向上を図る。
• Dpchallengeから収集したAVA-Reviewsデータセットを活用し、美的スコアと記述的インサイトを結びつける52,118枚の画像と312,708件のユーザーコメントを含む。
• 分類タスクには交差エントロピー損失、コメント生成タスクには言語モデリング損失を用い、高レベルの層で共有表現を活用することで意味的整合性を促進するエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、人間の美的認識と整合する自然言語の説明を、画像の美的スコアとともに共同で予測・生成できるか？
• RQ2 共有された高レベルの意味的層を組み込むことで、美的分類と記述的コメント生成の両方のパフォーマンスがどの程度向上するか？
• RQ3 モデルは、構図、シャープネス、照明といった具体的な美的原則を反映したコメントをどの程度適切に生成できるか？
• RQ4 共有部とタスク固有のコンponentを併用したマルチタスク学習は、単一タスクまたはナイーブなマルチタスクベースラインよりも優れたパフォーマンスを発揮するか？
• RQ5 モデルが生成する説明は、現実世界の画像美的評価における真値のユーザーコメントと意味的に整合性を持つものか？

主な発見

• 提案されたModel-Iは、AVA-Reviewsデータセット上で、ベースラインモデル比で画像美的予測で平均4.0%の向上、ビジョン・トゥ・ランゲージ生成で2.0%の向上を達成した。
• タスク固有の埋め込みをさらに統合したModel-IIは、Model-Iを上回り、タスク共有とタスク固有の情報を組み合わせることで、両タスクのパフォーマンスが向上することを実証した。
• モデルが生成したコメントは、人間の直観と意味的に整合しており、例えば「ややぼやけている」「目立つ背景」「小さすぎる」などの低美的画像の問題点を的確に特定している。
• 高美的画像に対しては、「羽の細部がとても良い」や「とても良いポートレート」といった妥当な正当化を生成しており、真値コメントと密接に一致している。
• マルチタスクベースラインは、提案モデルよりもパフォーマンスが劣っており、構造的なアーキテクチャ設計なしにCNN重みを単に共有するだけでは性能が低下することを示している。
• 定性的な結果から、モデルは多様で文脈的に関連性があり、知覚的に妥当な美的レビューを生成できており、単なる分類を越えた画像美的価値に関する推論能力を有していることが確認された。