[論文レビュー] User-Guided Personalized Image Aesthetic Assessment based on Deep Reinforcement Learning

Pei Lv, Jianqi Fan+6 more|arXiv (Cornell University)|Jun 14, 2021

Visual Attention and Saliency Detection参考文献 47被引用数 9

ひとこと要約

本論文は、インタラクティブな画像リトーチとランク付けを通じてユーザーの好みをモデル化する、深層強化学習（DRL）を用いたユーザー誘導型個人化された画像アート的評価フレームワークを提案する。ユーザーのフィードバックに基づき、反復的に強化およびランク付けポリシー・ネットワークを訓練することで、正確な個人化されたアート的分布を生成し、AVAおよびFLICKR-AESデータセットで最先端の性能を達成した。

ABSTRACT

Personalized image aesthetic assessment (PIAA) has recently become a hot topic due to its usefulness in a wide variety of applications such as photography, film and television, e-commerce, fashion design and so on. This task is more seriously affected by subjective factors and samples provided by users. In order to acquire precise personalized aesthetic distribution by small amount of samples, we propose a novel user-guided personalized image aesthetic assessment framework. This framework leverages user interactions to retouch and rank images for aesthetic assessment based on deep reinforcement learning (DRL), and generates personalized aesthetic distribution that is more in line with the aesthetic preferences of different users. It mainly consists of two stages. In the first stage, personalized aesthetic ranking is generated by interactive image enhancement and manual ranking, meanwhile two policy networks will be trained. The images will be pushed to the user for manual retouching and simultaneously to the enhancement policy network. The enhancement network utilizes the manual retouching results as the optimization goals of DRL. After that, the ranking process performs the similar operations like the retouching mentioned before. These two networks will be trained iteratively and alternatively to help to complete the final personalized aesthetic assessment automatically. In the second stage, these modified images are labeled with aesthetic attributes by one style-specific classifier, and then the personalized aesthetic distribution is generated based on the multiple aesthetic attributes of these images, which conforms to the aesthetic preference of users better.

研究の動機と目的

• 限られたユーザーのインタラクションで、非常に主観的なユーザー固有のアート的好みをモデル化する課題に対処すること。
• インタラクティブな画像強化とランク付けを深層強化学習パイプラインに統合することで、個人化された画像アート的評価を向上させること。
• 最小限のユーザーのフィードバックを用いて、より正確でユーザーに適合したアート的分布を生成すること。
• 最適化されたインタラクション設計により、ユーザーの疲労とインタラクション時間を低減しながら、高い評価精度を維持すること。

提案手法

• フレームワークは2段階で構成される：ユーザー誘導型画像アート的ランク付けと、個人化されたアート的分布の生成。
• 最初の段階では、ユーザーが画像をインタラクティブにリトーチおよびランク付けし、システムはこれらの行動を用いて深層強化学習ベースの強化ポリシー・ネットワークを訓練する。
• 別個のランク付けポリシー・ネットワークを並行して訓練し、同じフィードバックを用いてユーザーの好みに基づいた画像順序の最適化を図る。
• 2つのポリシー・ネットワークは反復的かつ交互に訓練され、強化とランク付けの予測を両方とも精緻化する。
• 2番目の段階では、スタイル固有の分類器が修正された画像を複数のアート的属性でラベル付けし、個人化されたアート的分布を生成する。
• 最終的な個人化された評価は、学習されたユーザー固有のアート的分布と新しい画像を比較することで推定される。

実験結果

リサーチクエスチョン

• RQ1 ユーザー誘導型画像強化とランク付けは、どのように個人化されたアート的評価の正確性を向上させるか？
• RQ2 1回のインタラクションあたりの画像数と総インタラクション回数の最適なバランスは何か？
• RQ3 最小限のユーザーのフィードバックを用いて、深層強化学習が主観的なユーザーの好みを効果的にモデル化できるか？
• RQ4 インタラクティブなリトーチの統合は、予測されたユーザーのアート的好みと実際の好みの整合性をどのように向上させるか？

主な発見

• 提案手法は、AVAおよびFLICKR-AESデータセットの両方で、個人化された画像アート的評価において最先端の性能を達成した。
• 1回のインタラクションあたり5枚の画像と5回の総インタラクション回数を用いた場合、AVAデータセットでのランク相関が0.6926に達した。
• 1回のインタラクションあたりの平均時間は画像数に比例して増加し、15枚の場合に6.81分に達した。これは、効率性と認知的負荷のトレードオフを示している。
• 研究では、1回のインタラクションあたりの画像数を少数（例：5枚）に抑え、複数回のラウンドを経ることで、より高い正確性とユーザーの疲労低減が達成された。
• フレームワークは、実際のユーザーの好みと密接に一致する個人化されたアート的分布を効果的に生成した。これは、ユーザーのランク付け予測において高いスピアマンのrho値によって検証された。