[论文解读] Autoencoding sensory substitution

Viktor Tóth, Parkkonen, Lauri|arXiv (Cornell University)|Jan 1, 2019

Neural dynamics and brain function参考文献 162被引用 9

一句话总结

本文提出了一种基于深度学习的隐式感官替代系统（AEV2A），采用循环变分自编码器将视觉图像转换为压缩且感知优化的声音景观，显著缩短了训练时间。通过整合计算听觉模型并约束视觉表征，该方法在仅数小时的训练后即在蒙眼任务中实现优于随机水平的性能，为视觉障碍者的快速康复提供了可行路径。

ABSTRACT

Tens of millions of people live blind, and their number is ever increasing. Visual-to-auditory sensory substitution (SS) encompasses a family of cheap, generic solutions to assist the visually impaired by conveying visual information through sound. The required SS training is lengthy: months of effort is necessary to reach a practical level of adaptation. There are two reasons for the tedious training process: the elongated substituting audio signal, and the disregard for the compressive characteristics of the human hearing system. To overcome these obstacles, we developed a novel class of SS methods, by training deep recurrent autoencoders for image-to-sound conversion. We successfully trained deep learning models on different datasets to execute visual-to-auditory stimulus conversion. By constraining the visual space, we demonstrated the viability of shortened substituting audio signals, while proposing mechanisms, such as the integration of computational hearing models, to optimally convey visual features in the substituting stimulus as perceptually discernible auditory components. We tested our approach in two separate cases. In the first experiment, the author went blindfolded for 5 days, while performing SS training on hand posture discrimination. The second experiment assessed the accuracy of reaching movements towards objects on a table. In both test cases, above-chance-level accuracy was attained after a few hours of training. Our novel SS architecture broadens the horizon of rehabilitation methods engineered for the visually impaired. Further improvements on the proposed model shall yield hastened rehabilitation of the blind and a wider adaptation of SS devices as a consequence.

研究动机与目标

• 解决传统视觉到听觉感官替代（SS）设备所需的漫长训练周期问题，其训练时间可达数月。
• 克服现有SS系统存在的局限，包括替代延迟过长以及与人类听觉感知缺乏整合。
• 开发一种隐式、基于深度学习的SS方法，利用人类听觉系统的压缩与感知特性。
• 证明缩短且感知优化的音频信号可使视觉障碍用户实现快速适应。
• 探究深度自编码器是否能够学习将视觉特征编码为支持物体辨别与空间导航等实际任务的听觉表征。

提出的方法

• 设计一种使用长短期记忆（LSTM）单元的深度循环变分自编码器（VAE），以实现端到端的图像到声音转换。
• 实现一种手工设计的声音合成器，将潜在表征映射到听觉特征，整合了响度、 tonotopy（ tonotopic mapping）和双耳定位等心理声学约束。
• 集成双耳噪声单元以模拟双耳时间差与强度差（ITD/ILD），提升空间感知能力，并与人类听觉处理机制保持一致。
• 应用计算听觉模型（如CARFAC）模拟听觉流分离与感知分组，增强复杂听觉刺激的可区分性。
• 通过轮廓提取与视觉空间抽象，将输入图像压缩为低维潜在表征，再进行音频合成。
• 使用重建损失训练自编码器，以最小化原始图像与从合成音频重建图像之间的差异。

实验结果

研究问题

• RQ1 深度循环自编码器能否学习将视觉图像映射为具有感知意义的听觉表征，从而在无视觉条件下实现快速学习？
• RQ2 人类听觉系统（如频率选择性、响度感知、双耳定位）的感知约束在多大程度上可被编码进基于深度学习的SS系统中，以提升性能并缩短训练时间？
• RQ3 隐式、基于自编码器的感官替代是否能在仅数小时训练后，使用户在视觉辨别与空间导航任务中实现优于随机水平的性能？
• RQ4 视觉抽象（如边缘检测、轮廓提取）如何影响深度学习框架中图像到声音转换的效率与准确性？
• RQ5 将计算听觉模型整合到音频合成流程中，是否能提升听觉特征的可区分性并减少感知模糊？

主要发现

• AEV2A模型在仅数小时训练后即在蒙眼状态下实现了手部姿势辨别任务的优于随机水平的性能，证明了快速感知学习的可行性。
• 在伸手取物任务中，参与者经极少训练后即达到显著优于基线的准确率，表明听觉信号有效编码了空间物体属性。
• 采用双耳噪声单元后，空间定位准确率得到提升，尤其偏好中央方位角值，与人类听觉感知极限一致。
• 整合计算听觉模型（如CARFAC）增强了感知分组与流分离，降低了复杂听觉刺激中的模糊性。
• 通过边缘检测与轮廓提取实现的视觉空间抽象，使音频信号更短、更高效，同时未造成显著的区分信息损失。
• 深度循环VAE架构在训练速度与感知保真度方面优于显式、基于规则的SS方法，实现了功能性能，训练时间从数月缩短至数小时。