[論文レビュー] A Machine Learning Approach for Evaluating Creative Artifacts

Disha Shrivastava, Christine Ahmed+2 more|arXiv (Cornell University)|Jul 18, 2017

Creativity in Education and Neuroscience参考文献 12被引用数 4

ひとこと要約

本論文は、創造的実装の評価を目的としたドメインに依存しない機械学習フレームワークを提案する。4つの核心的基準、すなわち新規性、影響力、価値、予期せぬ性に基づき、映画のメタデータおよび批評家・一般観客のスコアを代理ラベルとして用いることで、RMSEで最大4.58%の精度向上を達成した。これは、創造性指標が多様な創造的分野において予測性能を顕著に向上させることを示している。

ABSTRACT

Much work has been done in understanding human creativity and defining measures to evaluate creativity. This is necessary mainly for the reason of having an objective and automatic way of quantifying creative artifacts. In this work, we propose a regression-based learning framework which takes into account quantitatively the essential criteria for creativity like novelty, influence, value and unexpectedness. As it is often the case with most creative domains, there is no clear ground truth available for creativity. Our proposed learning framework is applicable to all creative domains; yet we evaluate it on a dataset of movies created from IMDb and Rotten Tomatoes due to availability of audience and critic scores, which can be used as proxy ground truth labels for creativity. We report promising results and observations from our experiments in the following ways : 1) Correlation of creative criteria with critic scores, 2) Improvement in movie rating prediction with inclusion of various creative criteria, and 3) Identification of creative movies.

研究の動機と目的

• 創造的実装の評価のためのドメインに依存しない学習ベースのフレームワークを構築すること。
• 新規性、影響力、価値、予期せぬ性といった核心的創造性次元が、創造的分野における人間の判断とどのように相関するかを調査すること。
• 回帰モデルに創造性に基づく特徴量を統合することで、映画スコアの予測性能を向上させること。
• IMDbおよびRotten Tomatoesの実世界データを用いてフレームワークを検証し、批評家および一般観客のスコアを代理の真値として用いること。
• どの創造性指標の組み合わせと機械学習モデルの組み合わせが、映画スコアの予測性能を最高にするかを同定すること。

提案手法

• フレームワークは、ドメイン固有の類似度関数を用いて、新規性、影響力、価値、予期せぬ性の4つの創造性指標を計算する。
• 各指標は、類似した実装の集合を基準セットとして、特徴量の統計的または構造的分析により定量化される。
• 回帰ベースの学習モデルを、これらの指標を入力特徴量として用いて訓練し、一般観客および批評家のスコアを予測する。
• リッジ回帰、ベイズ推定、SVR、KNN、ランダムフォレストといった複数のモデルを、異なる特徴量の組み合わせで評価する。
• 特徴量の組み合わせには、個々の指標（P, N, I, U）およびその組み合わせ（例：PUNI）が含まれ、次元削減にはPCAが用いられる。
• 類似度関数は設定可能なコンponentであり、映画、ファッション、音楽など、異なるドメインへの適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 提案された創造性指標（新規性、影響力、価値、予期せぬ性）は、プロの批評家スコアと一般観客スコアのどちらとより強く相関するか？
• RQ2 創造性に基づく特徴量は、映画スコア予測モデルの精度をどの程度向上させるか？
• RQ3 どの創造性指標の組み合わせと機械学習モデルの組み合わせが、映画スコアの予測性能を最高にするか？
• RQ4 なぜ予測性能の向上幅が一般観客スコアと批評家スコアで異なるのか？
• RQ5 類似度関数をどのように最適化すれば、フレームワークにおける創造性指標の信頼性を向上させられるか？

主な発見

• 創造性指標の組み込みにより、スコア予測の精度が顕著に向上した。最も優れたモデルでは、Rotten Tomatoesの批評家スコアに対してRMSEが4.58%低減された。
• Rotten Tomatoes一般観客スコアを予測する際、KNNモデルで最も高い改善が見られ、RMSEが4.58%低減した。
• 創造性指標は批評家スコアよりも一般観客スコアとの相関が弱く、批評家が創造的品質をより重視している可能性を示唆している。
• PCA、予期せぬ性、および他の1つ以上の創造性スコアを含む特徴量の組み合わせが、すべての予測タスクにおいてベースラインモデルを常に上回った。
• 予期せぬ性スコアは、上位ランキングに高い創造性を持つ映画を的確に特定できた。これは、創造的インパクトを捉える上でその指標が関連性が高いことを示している。
• フレームワークはドメインにわたるスケーラビリティを示し、視覚的または音声的コンテンツが豊富な分野として、ファッションや音楽が今後の応用分野として有望であると判明した。