[论文解读] PerceptNet: Learning Perceptual Similarity of Haptic Textures in Presence of Unorderable Triplets

Priyadarshini Kumari, Siddhartha Chaudhuri+1 more|arXiv (Cornell University)|May 8, 2019

Tactile and Sensory Interactions参考文献 28被引用 7

一句话总结

PerceptNet 提出了一种深度度量学习框架，仅通过非数值的三元组比较（包括可排序的高 margin 与不可排序的低 margin 三元组）来建模触觉纹理的感知相似性，以捕捉人类感知的细微差别。该方法通过学习一个鲁棒的嵌入空间，使欧氏距离反映感知差异，从而在有限或不完整的训练数据下仍能实现良好泛化，优于先前的方法。

ABSTRACT

In order to design haptic icons or build a haptic vocabulary, we require a set of easily distinguishable haptic signals to avoid perceptual ambiguity, which in turn requires a way to accurately estimate the perceptual (dis)similarity of such signals. In this work, we present a novel method to learn such a perceptual metric based on data from human studies. Our method is based on a deep neural network that projects signals to an embedding space where the natural Euclidean distance accurately models the degree of dissimilarity between two signals. The network is trained only on non-numerical comparisons of triplets of signals, using a novel triplet loss that considers both types of triplets that are easy to order (inequality constraints), as well as those that are unorderable/ambiguous (equality constraints). Unlike prior MDS-based non-parametric approaches, our method can be trained on a partial set of comparisons and can embed new haptic signals without retraining the model from scratch. Extensive experimental evaluations show that our method is significantly more effective at modeling perceptual dissimilarity than alternatives.

研究动机与目标

• 开发一种稳健的触觉纹理感知度量，准确反映人类对相似性与差异性的感知。
• 通过依赖相对的、非数值的比较，解决人类感知判断中不一致的数值标度问题。
• 通过同时整合易于排序与模糊（不可排序）的三元组，改进度量学习，而这些三元组在先前方法中常被忽略。
• 利用参数化的深度学习框架，在无需重新训练的情况下实现对未见触觉信号的泛化。
• 创建一种可扩展、数据高效的方法，以最小的人工标注构建触觉词汇与图标。

提出的方法

• 使用深度神经网络将低层次触觉特征嵌入到一个感知嵌入空间，其中欧氏距离用于建模感知差异性。
• 采用一种新颖的三元组损失函数，将高 margin（不等式）和低 margin（等式）三元组均视为训练过程中的信息性样本。
• 通过一种新颖的谱特征提取方法——复值滤波器组（CQFB）表示触觉纹理，以降低维度并捕捉感知相关的模式。
• 仅使用相对比较进行模型训练：对于每个三元组（锚点、正样本、负样本），网络学习正样本是否比负样本更接近锚点。
• 通过等式约束处理模糊比较（低 margin 三元组），强制要求锚点与正样本或负样本之间无显著接近性差异。
• 支持零样本泛化：新触觉信号可在不重新训练整个模型的情况下被嵌入。

实验结果

研究问题

• RQ1 深度度量学习模型能否仅通过触觉纹理的非数值相对三元组比较，有效学习感知相似性？
• RQ2 将人类受试者无法可靠区分的不可排序三元组（低 margin）纳入模型，是否能提升所学感知度量的鲁棒性与准确性？
• RQ3 当在不完整或稀疏的比较数据上进行训练时，该模型对未见触觉信号的泛化能力如何？
• RQ4 该模型的嵌入空间在多大程度上保留了人类研究定义的真实感知相似性结构？
• RQ5 与基于 MDS 的传统非参数方法相比，该模型是否能在更少数据下更优地建模感知差异性？

主要发现

• PerceptNet 显著优于仅在高 margin 三元组上训练的基线模型，表明低 margin 三元组携带了关键的感知信息。
• 该模型在成对可区分性预测任务上的 AUC 达到 0.97，远超基线模型（AUC = 0.69, 0.66），表明其在识别感知上不同的信号对方面具有高准确率。
• PerceptNet 学习得到的感知相似性矩阵与人类研究的真值混淆矩阵高度一致（AUC = 0.97），显示出与人类感知趋势的强匹配。
• 模型准确率随训练集规模单调提升，即使在小样本数据集上仍保持良好泛化能力，表明其具有强大的数据效率。
• 使用 CQFB 谱特征作为输入，通过提供高维触觉信号的紧凑且感知有意义的表示，提升了模型准确率。
• 该模型能有效泛化至未见信号，实现无需重新训练的零样本推理，这对可扩展的触觉词汇设计至关重要。