[논문 리뷰] A Machine Learning Approach for Evaluating Creative Artifacts

Disha Shrivastava, Christine Ahmed외 2명|arXiv (Cornell University)|2017. 07. 18.

Creativity in Education and Neuroscience참고 문헌 12인용 수 4

한 줄 요약

이 논문은 창의적 산물 평가를 위한 도메인 독립적 기계학습 프레임워크를 제안한다. 이 프레임워크는 새로움, 영향력, 가치, 놀라움이라는 네 가지 핵심 기준을 사용한다. 영화 메타데이터와 평론가/관객 평점 데이터를 대체 레이블로 활용함으로써, RMSE 기준으로 최대 4.58% 향상된 평점 예측 정확도를 확보하였다. 이는 창의성 지표가 다양한 창의적 도메인에서 예측 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Much work has been done in understanding human creativity and defining measures to evaluate creativity. This is necessary mainly for the reason of having an objective and automatic way of quantifying creative artifacts. In this work, we propose a regression-based learning framework which takes into account quantitatively the essential criteria for creativity like novelty, influence, value and unexpectedness. As it is often the case with most creative domains, there is no clear ground truth available for creativity. Our proposed learning framework is applicable to all creative domains; yet we evaluate it on a dataset of movies created from IMDb and Rotten Tomatoes due to availability of audience and critic scores, which can be used as proxy ground truth labels for creativity. We report promising results and observations from our experiments in the following ways : 1) Correlation of creative criteria with critic scores, 2) Improvement in movie rating prediction with inclusion of various creative criteria, and 3) Identification of creative movies.

연구 동기 및 목표

• 창의성의 측정 가능한 기준을 사용해 도메인에 관계없이 적용 가능한 기계학습 기반의 창의적 산물 평가 프레임워크를 개발한다.
• 핵심 창의성 차원인 새로움, 영향력, 가치, 놀라움이 창의적 도메인에서 인간 평가와 어떻게 상관관계가 있는지 조사한다.
• 재귀적 모델에 창의성 기반 특징을 통합함으로써 영화 평점 예측 성능을 향상시킨다.
• 평론가 및 관객 평점이 대체 진실값으로 기능하는 IMDb와 Rotten Tomatoes의 실제 데이터를 사용해 프레임워크를 검증한다.
• 창의성 지표와 기계학습 모델의 조합 중에서 가장 높은 예측 성능을 내는 조합을 특정한다.

제안 방법

• 프레임워크는 도메인 특화의 유사도 함수를 사용해 네 가지 창의성 지표—새로움, 영향력, 가치, 놀라움—을 계산한다.
• 각 지표는 유사한 산물의 기준 세트에 대한 산물 특징의 통계적 또는 구조적 분석을 통해 정량화된다.
• 이러한 지표들을 입력 특징으로 사용해 회귀 기반의 학습 모델을 훈련시켜 관객 및 평론가 평점을 예측한다.
• 다양한 특징 조합에 대해 릿지, 베이지안, SVR, KNN, 랜덤 포레스트 등의 다양한 모델을 평가한다.
• 특징 조합은 개별 지표(P, N, I, U)와 그 조합(예: PUNI)을 포함하며, 차원 축소를 위해 주성분 분석(PCA)을 사용한다.
• 유사도 함수는 구성 가능한 구성요소로서 영화, 패션, 음악 등 다양한 도메인에 적응 가능하다.

실험 결과

연구 질문

• RQ1 제안된 창의성 지표인 새로움, 영향력, 가치, 놀라움이 전문 평론가 평점과 관객 평점과 어떻게 상관관계가 있는가?
• RQ2 창의성 기반 특징이 영화 평점 예측 모델의 정확도를 얼마나 향상시키는가?
• RQ3 창의성 지표와 기계학습 모델의 어떤 조합이 영화 평점 예측에서 가장 높은 성능을 내는가?
• RQ4 왜 예측 성능 향상 폭이 관객 평점과 평론가 평점 간에 다를까?
• RQ5 창의성 지표의 신뢰성을 향상시키기 위해 유사도 함수를 어떻게 최적화할 수 있는가?

주요 결과

• 창의성 지표의 통합으로 평점 예측 성능이 뚜렷이 향상되었으며, 가장 우수한 성능을 보인 모델은 Rotten Tomatoes 평론가 평점 예측에서 RMSE를 4.58% 감소시켰다.
• Rotten Tomatoes 관객 평점 예측에서 KNN 모델이 가장 높은 성능 향상을 보였으며, 이 경우 RMSE가 4.58% 감소하였다.
• 창의성 지표는 관객 평점보다 평론가 평점과 더 강한 상관관계를 보였으며, 이는 평론가들이 창의적 요소를 더 중시함을 시사한다.
• PCA, 놀라움, 그리고 다른 하나 이상의 창의성 지표를 포함한 특징 조합이 모든 예측 작업에서 베이스라인 모델을 뛰어넘는 일관된 성능을 보였다.
• 놀라움 지표는 랭킹 상단의 고창의성 영화를 성공적으로 식별하여 창의적 영향을 캡처하는 데 있어 관련성이 있음을 보여주었다.
• 프레임워크는 다양한 도메인으로의 확장성이 있었으며, 시각적 또는 청각적 콘텐츠가 풍부한 패션과 음악 분야가 향후 응용 가능성 있는 분야로 지목되었다.