[논문 리뷰] Modelling the Socialization of Creative Agents in a Master-Apprentice Setting: The Case of Movie Title Puns

Mika Hämäläinen, Khalid Alnajjar|arXiv (Cornell University)|2019. 07. 10.

Artificial Intelligence in Games참고 문헌 23인용 수 4

한 줄 요약

이 논문은 유전적 알고리즘(마스터)과 신경 기계 번역(NMT) 기반의 시퀀스-투-시퀀스 모델(아이템)을 사용하여 음식 관련 영화 제목 농담을 생성하는 마스터-아이템 시스템에서 계층적 사회화를 모델링한다. 권위적인 양육 스타일(마스터가 중간 정도의 비판으로 훈련 데이터를 걸러냄)은 일관성을 향상시키지만, 피드백을 생략하는(필터링 없음) 무관심 양육 스타일은 평균 평가 점수는 낮지만 가장 높은 유머감과 놀라움을 낳는다.

ABSTRACT

This paper presents work on modelling the social psychological aspect of socialization in the case of a computationally creative master-apprentice system. In each master-apprentice pair, the master, a genetic algorithm, is seen as a parent for its apprentice, which is an NMT based sequence-to-sequence model. The effect of different parenting styles on the creative output of each pair is in the focus of this study. This approach brings a novel view point to computational social creativity, which has mainly focused in the past on computationally creative agents being on a socially equal level, whereas our approach studies the phenomenon in the context of a social hierarchy.

연구 동기 및 목표

• 마스터-아이템 시스템에서 다양한 양육 스타일이 생성된 영화 제목 농담의 창의성과 일관성에 미치는 영향을 조사하는 것.
• 발달 심리학, 특히 양육 스타일을 이론적 프레임워크로 삼아 계산적 창의성에서의 사회화를 모델링하는 것.
• 마스터 수준의 평가(적합도 함수)가 순서-에서-순서 생성에서 아이템 모델 성능에 미치는 영향을 분석하는 것.
• 기존의 동등한 상태의 에이전트 협업에 초점을 맞춘 연구와 대비하여, 마스터-아이템의 계층적 사회 관계가 계산적 사회 창의성에서 어떻게 작용하는지 비교하는 것.
• 마스터의 외부 평가가 아이템의 창의적 출력 품질과 일관성에 향상 효과를 주는지 평가하는 것.

제안 방법

• 마스터는 인간의 감상 방식을 반영하는 적합도 함수에 기반해 후보 영화 제목 농담을 진화시키는 유전적 알고리즘이다.
• 아이템은 실제 영화 제목과 그에 대한 음식 관련 농담을 병렬 데이터로 사용해 훈련된 NMT 기반의 시퀀스-투-시퀀스 모델이다.
• 권위적, 독재적, 관대한, 무관심-무시하는 4가지 양육 스타일은 마스터가 아이템의 훈련 데이터를 걸러내거나 평가하는 방식을 변화시켜 모델링된다.
• 마스터의 적합도 함수는 사회적 필터 역할을 하며, 권위적(중간 정도의 비판), 독재적(엄격한 필터링), 관대한(필터링 없음), 무관심(피드백 없음)으로 구분된다.
• 훈련 데이터는 마스터의 평가에 따라 걸러지거나 보강되며, 이로 인해 아이템이 고급, 유머러스하고 음식 관련 농담에 노출된다.
• 인간 평가에서는 농담 유머감, 놀라움, 인식 가능성, 음식 관련성 등을 평가하는 8개의 질문을 1~5점 척도로 시행한다.

실험 결과

연구 질문

• RQ1 마스터의 양육 스타일이 아이템의 생성된 영화 제목 농담의 창의성과 일관성에 어떤 영향을 미치는가?
• RQ2 마스터의 외부 평가(적합도 함수를 통한 평가)는 아이템 출력의 품질과 통일성에 얼마나 향상 효과를 주는가?
• RQ3 어느 양육 스타일이 생성된 농담에서 농담 유머감, 놀라움, 인식 가능성의 최적의 균형을 이끌어내는가?
• RQ4 마스터-아이템의 계층적 사회 관계는 기존의 동등한 상태 협업 연구와 비교해 계산적 사회 창의성에서 어떻게 다를까?
• RQ5 마스터 피드백이 없는 상태(무관심 스타일)는 구조화된 피드백보다 창의성은 더 높지만 일관성은 떨어지는 결과를 낳는가?

주요 결과

• 무관심 양육 스타일은 농담 유머감(Q2), 놀라움(Q4), 음식 관련성(Q5)에서 가장 높은 점수를 기록했으며, 이들 지표에서 3점 이상을 받은 제목 비율이 가장 높았다.
• 권위적 스타일은 일관성이 가장 높았으며, 농담 명확성(Q3)과 음식 관련성(Q6)에서 3점 이상을 받은 제목 비율이 가장 높았다. 다만 창의성 지표(H-창의성, Q7 및 Q8)에서는 낮은 점수를 기록했다.
• 관대한 스타일은 인식 가능성(Q7)과 동료 인식(Q6)에서 가장 우수한 성과를 냈지만, 질문 간 성과가 일관되지 않아 많은 점수가 3점 이하였다.
• 독재적 스타일은 전반적으로 가장 열악한 성과를 보였으며, 3점 이상을 받은 제목 비율이 가장 낮았고, 특히 창의성과 놀라움 지표에서 떨어졌다.
• 평균 점수는 낮았지만, 무관심 스타일은 가장 독창적이고 놀라운 농담을 생성했으며, 이는 필터링이 없는 상태가 H-창의성에 긍정적인 영향을 줄 수 있음을 시사한다.
• 마스터의 평가, 즉 완벽하지 않은 평가라도 훈련 일관성을 향상시켰다. 권위적 및 관대한 스타일은 무관심 스타일보다 구조적 품질에서 더 높은 성과를 냈지만, 농담 감성에서는 그렇지 않았다.