[論文レビュー] Empathic AI Painter: A Computational Creativity System with Embodied Conversational Interaction

Özge Nilay Yalçın, Nouf Abukhodair+1 more|arXiv (Cornell University)|May 28, 2020

Aesthetic Perception and Analysis参考文献 14被引用数 8

ひとこと要約

本論文では、共感的対話的インタラクションを用いてユーザーのBig-5パーソナリティ特徴を推定し、2段階のAIパイプラインを用いてパーソナライズド・スタイライズド・ポートレートを生成する計算的創造性システムであるEmpathic AI Painterを提示する。まず、身体的対話エージェント（M-Path）がBig-5パーソナリティインタビューを実施し、次に生成的AIポートレートシステムがパーソナリティカテゴリーに基づいてスタイル転送と非写実的レンダリングを適用する。本システムはパーソナリティ分類で82.51%の正確性を達成し、参加者からは感情的に共感を覚えるポートレートであると評価された。

ABSTRACT

There is a growing recognition that artists use valuable ways to understand and work with cognitive and perceptual mechanisms to convey desired experiences and narrative in their created artworks (DiPaola et al., 2010; Zeki, 2001). This paper documents our attempt to computationally model the creative process of a portrait painter, who relies on understanding human traits (i.e., personality and emotions) to inform their art. Our system includes an empathic conversational interaction component to capture the dominant personality category of the user and a generative AI Portraiture system that uses this categorization to create a personalized stylization of the user's portrait. This paper includes the description of our systems and the real-time interaction results obtained during the demonstration session of the NeurIPS 2019 Conference.

研究の動機と目的

• パーソナリティと感情に関する心理学的知見をAI生成アートに統合することで、ポートレート画家の創造的プロセスを模倣すること。
• 共感的でリアルタイムの対話を通じてパーソナリティ特徴を捉えるエージェントを実装すること。
• 深層学習に基づくスタイライゼーション技術を用いて、推定されたパーソナリティを反映したパーソナライズド・ポートレートスタイルを生成すること。
• NeurIPS 2019でのライブデモンストレーションを通じて、実世界でのシステムの有効性を評価すること。
• 美的基準を超えて感情的・認知的整合性を持つ人間の特徴に共感するAIシステムの可能性を検討すること。

提案手法

• 本システムは、ウェブカメラとマイクを介して、M-Pathという身体的対話エージェントがリアルタイムで音声反応を収集しながら、Big-5パーソナリティアンケートを実施する。
• 応答に基づいて、パーソナリティ特徴が5つの次元（開放性、誠実性、外向性、協調性、神経質性）のいずれかに分類される。
• 事前処理パイプラインにより、顔が背景から分離され、ルーベンストライトの照明効果が適用され、顔の特徴が強調される。
• ImageNetではなく、3,000人のアーティストからなる16万件のラベル付き芸術作品で訓練された、変更版Deep Dream（mDD）システムが、アートのトレーニングデータを用いてスタイライズドベースラインを生成する。
• ePainterlyモジュールは、ストロークエンジンモデリング、パーティクルシステム、カラーパレット操作を含む非写実的レンダリング（NPR）技術を適用し、一貫性のある芸術的ストロークでポートレートを精練する。
• 最終的なポートレートは、mDD出力とNPR技術を統合して反復的精錬を行い、評価用にオンラインギャラリーに表示される。

実験結果

リサーチクエスチョン

• RQ1 共感的で対話的なインタラクションを通じて、AIシステムはリアルタイムでパーソナリティ特徴を効果的に推定できるか？
• RQ2 生成的AIシステムは、推定されたパーソナリティカテゴリーを、ポートレート絵画における明確な芸術的スタイルにどれほど正確にマッピングできるか？
• RQ3 参加者は、生成されたポートレートを、自分の特徴を感情的・個人的に反映しているとどれほど強く感じたか？
• RQ4 2段階のAIパイプライン（パーソナリティ推定 → スタイル転送）は、美的に整合的かつパーソナライズドなポートレートを生成できるか？
• RQ5 認知的・知覚的メカニズムは、AI生成アートが個人的に共感を覚えるように感じるかに果たす役割は何か？

主な発見

• M-Path対話エージェントは、音声認識で84.72%の正確性を示し、ユーザーのBig-5パーソナリティ特徴を正しく分類する精度が82.51%であった。
• 完全なインタラクションを完了した26名の参加者の中で、17の異なるパーソナリティカテゴリーが特定され、パーソナリティスペクトルの広範なカバーが示された。
• 参加者たちは、しばしば高解像度版のポートレートをリクエストしており、強い個人的関連性と感情的共感を強く感じていると示唆している。
• mDDとePainterlyモジュールの統合により、ノイズアーティファクトが低減され、ストローククラスタリングが改善された。
• NeurIPS 2019での専門家観察者から、ポートレートは参加者の認識されたパーソナリティを反映していると報告されたが、このフィードバックは制御された研究で検証が必要である。
• 16万件のラベル付き芸術作品を含む67GBのカスタムデータセットの使用により、標準のImageNetベースのモデルよりも芸術的に正確なスタイル転送が実現した。