[论文解读] A Perceptual Aesthetics Measure for 3D Shapes

Kapil Dev, Manfred Lau+1 more|arXiv (Cornell University)|Aug 17, 2016

Aesthetic Perception and Analysis参考文献 44被引用 3

一句话总结

本文提出了一种基于深度学习的3D形状感知美学度量方法，该方法从人类偏好中学习，而无需依赖人工定义的特征。通过使用原始体素数据和人类评分的形状美学训练的3D卷积神经网络，该方法预测连续的美学得分，从而在3D搜索、可视化和场景构图等应用中实现高精度和跨形状类别的良好泛化能力。

ABSTRACT

While the problem of image aesthetics has been well explored, the study of 3D shape aesthetics has focused on specific manually defined features. In this paper, we learn an aesthetics measure for 3D shapes autonomously from raw voxel data and without manually-crafted features by leveraging the strength of deep learning. We collect data from humans on their aesthetics preferences for various 3D shape classes. We take a deep convolutional 3D shape ranking approach to compute a measure that gives an aesthetics score for a 3D shape. We demonstrate our approach with various types of shapes and for applications such as aesthetics-based visualization, search, and scene composition.

研究动机与目标

• 开发一种不依赖手工几何特征的自动化、数据驱动的3D形状美学度量方法。
• 直接从多样化的3D形状类别中的人类偏好评分学习感知美学。
• 实现基于美学的3D搜索、可视化和场景构图等实际应用。
• 证明所学习的美学度量在多个形状类别和真实应用场景中的泛化能力。
• 基于深度学习和人工标注数据，建立3D形状美学的基准。

提出的方法

• 该方法使用3D形状的原始体素表示作为深度卷积神经网络（3D-CNN）的输入。
• 采用排名损失函数，训练网络基于人类偏好数据预测相对美学得分。
• 模型在大规模3D形状数据集上端到端训练，该数据集包含人类评分的美学偏好标注。
• 最终输出为每个3D形状的连续美学得分，该得分基于感知的人类判断学习得到。
• 该架构利用3D卷积捕捉与美学相关的空间结构和局部形状模式。
• 该方法通过直接从体素数据学习判别性表征，避免了手工特征工程。

实验结果

研究问题

• RQ1 深度学习模型能否从原始体素数据和人类偏好标注中学习到3D形状的感知美学度量？
• RQ2 所学习的美学度量在多样化3D形状类别中的泛化能力如何？
• RQ3 当美学作为排序标准时，该模型在3D搜索和可视化中的性能提升程度如何？
• RQ4 与依赖手工特征的传统方法相比，该学习模型的性能表现如何？
• RQ5 不同的架构选择和损失函数对最终美学预测质量的影响如何？

主要发现

• 所提出的方法与人类美学判断高度相关，表现出对未见过的3D形状的强大预测能力。
• 该模型在无需微调的情况下，有效泛化于包括家具、车辆和有机形态在内的多种形状类别。
• 当使用学习到的得分作为排序标准时，基于美学的3D搜索和可视化优于基线方法。
• 由于无需手工特征工程，与以往工作相比，该方法更具可扩展性和适应性。
• 结合排名损失的3D-CNN架构能有效捕捉与美学相关的感知形状特征。
• 该方法使实际应用成为可能，例如3D设计流程中的场景构图和美学过滤。