[論文レビュー] Predicting Aesthetic Score Distribution through Cumulative Jensen-Shannon Divergence

Xin Jin, Le Wu+7 more|arXiv (Cornell University)|Aug 23, 2017

Visual Attention and Saliency Detection参考文献 42被引用数 6

ひとこと要約

本稿では、累積ジェンセン・シャノン発散を損失関数として用いることで、人間の美的評価（1–10）の全分布を予測する深層学習モデルCJS-CNNを提案する。この手法により、主観的な評価のばらつきをより洗練された形でモデル化できる。スカラーまたはバイナリ表現に比べ、尖度に基づく信頼性に敏感な学習戦略を組み込むことで、AVAデータセット上で最先端の性能を達成した。

ABSTRACT

Aesthetic quality prediction is a challenging task in the computer vision community because of the complex interplay with semantic contents and photographic technologies. Recent studies on the powerful deep learning based aesthetic quality assessment usually use a binary high-low label or a numerical score to represent the aesthetic quality. However the scalar representation cannot describe well the underlying varieties of the human perception of aesthetics. In this work, we propose to predict the aesthetic score distribution (i.e., a score distribution vector of the ordinal basic human ratings) using Deep Convolutional Neural Network (DCNN). Conventional DCNNs which aim to minimize the difference between the predicted scalar numbers or vectors and the ground truth cannot be directly used for the ordinal basic rating distribution. Thus, a novel CNN based on the Cumulative distribution with Jensen-Shannon divergence (CJS-CNN) is presented to predict the aesthetic score distribution of human ratings, with a new reliability-sensitive learning method based on the kurtosis of the score distribution, which eliminates the requirement of the original full data of human ratings (without normalization). Experimental results on large scale aesthetic dataset demonstrate the effectiveness of our introduced CJS-CNN in this task.

研究の動機と目的

• スカラーまたはバイナリ表現の限界に起因する、人間の評価の主観性とばらつきを捉えきれない問題に対処すること。
• 単一の平均値やバイナリラベルではなく、人間の美的評価（1–10）の全分布をモデル化すること。
• 信頼性に敏感な学習戦略を導入することで、不確実またはスパarsな評価データに対して頑健な深層学習フレームワークを構築すること。
• 統計的特性（例えば尖度）を組み込むことで、人間の評価における合意形成と多様性を反映させ、主観的な画像美的評価のモデリングを向上させること。

提案手法

• CJS-CNNモデルは、深層畳み込みニューラルネットワークを用いて、10個のスコア（1–10）に対する確率のベクトルとして、全美的スコア分布を予測する。
• 予測された累積スコア分布と真値の累積スコア分布の差を測るため、累積ジェンセン・シャノン発散（CJS）を損失関数として採用する。
• 信頼性に敏感な学習戦略を導入し、スコア分布の尖度に基づく信頼性要因によって損失を重み付けすることで、ノイズが多いまたは信頼性の低いサンプルを低減する。
• 信頼性要因は、正規化されたスコアヒストグラムから直接計算され、レーティング数などの外部メタデータに依存しない。
• CJS損失に信頼性重みを適用してエンド・トゥ・エンドで訓練することで、不均衡または歪んだスコア分布に対してもより良い一般化性能を実現する。
• 大規模なAVAデータセット上で評価し、尖度に基づく信頼性とレーティング数に基づく代替手法を比較するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 スカラーまたはバイナリ表現に比べ、人間の美的評価の全分布をモデル化することで、美的品質評価の性能が向上するか？
• RQ2 順序付きスコア分布のモデリングにおいて、累積ジェンセン・シャノン発散損失は他の発散測度と比較してどのように優れるか？
• RQ3 尖度に基づく信頼性に敏感な学習戦略を組み込むことで、ノイズが多いまたはスパarsな評価データに対するモデルの頑健性が向上するか？
• RQ4 尖度は、レーティング数の代替として、レーティングの普及度や合意形成を信頼できる指標として機能できるか？

主な発見

• 提案されたCJS-CNNモデルは、複数の評価指標において最先端の性能を達成し、テストセットにおける平均発散が最小であった。
• 尖度に基づく信頼性に敏感な学習戦略は、常に性能を向上させ、ベースラインのCJSおよびレーティング数に基づく信頼性要因を上回った。
• 尖度に基づく信頼性要因は、レーティング数に基づく要因よりもわずかに優れており、両者の組み合わせによる利点も得られなかったため、その有効性と外部メタデータへの依存のなさが示された。
• モデルの性能は、歪んでいるまたは正規分布でないスコア分布を含む多様な分布に対しても頑健であり、CJSは実験的順序データに特に適していることがわかった。
• 結果から、平均値ベースやバイナリ分類手法に比べ、全スコア分布をモデル化することで、人間の美的認識のより洗練された側面を捉えられると確認された。
• アブレーションスタディの結果、CJS損失に尖度重みを適用した場合が全体の発散を最小に抑え、本手法の設計選択の妥当性が裏付けられた。