[论文解读] Machine learning based co-creative design framework

Brian Quanz, Wei Sun+3 more|arXiv (Cornell University)|Jan 23, 2020

Data Visualization and Analytics参考文献 48被引用 10

一句话总结

本文提出了一种基于机器学习的协同创意设计框架，整合了创作者（Creator）、评估者（Evaluator）和迭代器（Iterator）组件，以实现交互式、用户引导的设计探索。通过香水瓶设计案例研究展示了其有效性，表明该系统能够高效学习用户偏好，并利用生成对抗网络（GANs）、风格迁移和强化学习生成多样化且高质量的设计方案。

ABSTRACT

We propose a flexible, co-creative framework bringing together multiple machine learning techniques to assist human users to efficiently produce effective creative designs. We demonstrate its potential with a perfume bottle design case study, including human evaluation and quantitative and qualitative analyses.

研究动机与目标

• 解决当前缺乏可泛化、基于人工智能的包装设计工具的问题，以支持创造力和用户控制。
• 克服以往协同创意系统依赖启发式规则或单一功能助手的局限性。
• 通过在生成新颖、多样化设计的同时学习用户反馈，实现灵活、交互式的设计探索。
• 利用包含24,000张香水瓶图像的大规模数据集，在实际设计任务中证明该框架的可行性与有效性。

提出的方法

• 创作者组件使用生成对抗网络（GANs），包括渐进式和条件GANs，以生成新颖、逼真的设计，并支持图像补全和草图到图像的转换。
• 草图到图像转换与风格迁移技术使用户能够固定结构元素，同时修改颜色和纹理，从而支持快速原型设计与变体生成。
• 评估者组件采用迁移学习与预测建模，对设计在形状、色彩等美学模态上的表现进行评分，并估算新颖性与消费者吸引力。
• 迭代器组件利用强化学习与迁移学习，根据用户反馈迭代提出设计方案，实现探索与利用之间的平衡。
• 该系统将多种机器学习技术——包括GANs、风格迁移、迁移学习与强化学习——整合为统一的交互式协同创意设计框架。
• 简化后的界面每轮展示18个设计方案，用户通过选择偏好设计，逐步优化学习到的偏好模型。

实验结果

研究问题

• RQ1 统一且灵活的机器学习框架是否能有效支持多样化用户需求与创意目标下的协同创意设计？
• RQ2 该系统在仅使用最少反馈的情况下，能否实时高效地学习并适应用户偏好？
• RQ3 该系统在多大程度上能生成多样化、新颖且具有审美吸引力的设计，从而超越用户初始意图激发其创造力？
• RQ4 与启发式或随机方法相比，多种机器学习技术（如GANs、风格迁移、强化学习）的集成在提升设计探索效率与用户参与度方面有何优势？

主要发现

• 系统在学习用户偏好方面表现出高精度，曲线下面积（AUC）得分表明其在评估阶段对用户选择的预测能力很强。
• 多种提案策略的结合实现了高效的学习与探索，其在选择率与学习速度上均优于纯随机提案方法。
• 在13名非专业人士参与的用户研究中，系统有效学习了用户偏好，每轮中被喜欢的设计数量持续增加，表明建议的相关性不断提升。
• 迭代器组件成功平衡了探索与利用，在呈现新颖且富有启发性的设计的同时，能够根据用户反馈进行适应。
• 该框架展示了利用条件GANs与风格迁移生成多样化、逼真设计的能力，即使用户仅提供部分草图或特征约束亦能实现。
• 该系统的偏好模型具备足够的鲁棒性，能够泛化于复杂且非显式的规格描述（如“甜美、果香、少女风”香水），展现出实际应用潜力。