[论文解读] Deformation Lamps: A Projection Technique to Make Static Objects Perceptually Dynamic

Takahiro Kawabe, Taiki Fukiage+2 more|arXiv (Cornell University)|Mar 3, 2016

Visual perception and processing mechanisms参考文献 55被引用 33

一句话总结

本文提出了一种名为'变形灯'的投影技术，通过在保持原始色彩和纹理的前提下投射动态亮度图案，使静态的2D和3D物体产生生动、逼真的错觉性运动与形变。大脑会自动校正亮度与静态视觉属性之间的空间不一致性，从而在无物理变化的情况下创造出引人入胜的运动错觉。

ABSTRACT

Light projection is a powerful technique that can be used to edit the appearance of objects in the real world. Based on pixel-wise modification of light transport, previous techniques have successfully modified static surface properties such as surface color, dynamic range, gloss, and shading. Here, we propose an alternative light projection technique that adds a variety of illusory yet realistic distortions to a wide range of static 2D and 3D projection targets. The key idea of our technique, referred to as (Deformation Lamps), is to project only dynamic luminance information, which effectively activates the motion (and shape) processing in the visual system while preserving the color and texture of the original object. Although the projected dynamic luminance information is spatially inconsistent with the color and texture of the target object, the observer's brain automatically combines these sensory signals in such a way as to correct the inconsistency across visual attributes. We conducted a psychophysical experiment to investigate the characteristics of the inconsistency correction and found that the correction was critically dependent on the retinal magnitude of the inconsistency. Another experiment showed that the perceived magnitude of image deformation produced by our techniques was underestimated. The results ruled out the possibility that the effect obtained by our technique stemmed simply from the physical change in an object's appearance by light projection. Finally, we discuss how our techniques can make the observers perceive a vivid and natural movement, deformation, or oscillation of a variety of static objects, including drawn pictures, printed photographs, sculptures with 3D shading, and objects with natural textures including human bodies.

研究动机与目标

• 开发一种新颖的光投影技术，以在静态物理物体上制造出动态形变的错觉。
• 研究视觉系统如何将不一致的视觉属性——特别是动态亮度与静态色彩和纹理——整合为连贯的感知体验。
• 确定仅通过亮度投影所引发的运动与形变错觉的感知极限及其作用机制。
• 排除其他解释，如光投影导致物体外观发生物理变化，作为观察到的感知效应的原因。

提出的方法

• 在保持原始色彩和纹理的静态2D和3D物体上投射动态亮度图案。
• 通过随时间调制亮度而不改变空间结构，利用视觉系统的运动与形状处理通路。
• 使用空间上不一致的亮度信号触发感知运动与形变，依赖大脑对感官不一致性的自动校正。
• 通过心理物理学实验测量不一致性在视网膜上的幅度及其对感知校正的影响。
• 对各种目标（包括素描、照片、3D雕塑及具有自然纹理的人体）施加受控的亮度图案。
• 使用感知量表任务评估观察者是否能准确报告感知形变的幅度。

实验结果

研究问题

• RQ1 视觉系统如何解决动态亮度与静态色彩/纹理之间的空间不一致性，从而产生错觉性运动与形变？
• RQ2 视网膜上不一致性的幅度在决定感知错觉的强度与真实感方面起什么作用？
• RQ3 观察者在多大程度上系统性地低估了感知形变的幅度？这种低估如何影响错觉的真实感？
• RQ4 该动态形变错觉是否能可靠地在多种静态物体上实现，包括具有复杂纹理和3D明暗效果的物体？
• RQ5 所观察到的效果是源于感知整合，还是仅仅由于光投影导致物体外观发生物理变化？

主要发现

• 视觉系统会自动校正动态亮度与静态视觉属性之间的空间不一致性，从而实现强烈的感知错觉性运动与形变。
• 感知校正的强度关键取决于视网膜上不一致性的幅度，不一致性越大，错觉越强烈。
• 观察者系统性地低估了感知图像形变的幅度，表明存在一种可能增强错觉真实感的感知偏差。
• 该错觉效应在多种静态目标上持续存在，包括素描、印刷照片、3D雕塑以及具有自然纹理的人体。
• 结果排除了物理外观变化作为主要成因，确认错觉源于感知整合，而非物理改变。
• 该技术成功在静态物体上引发了生动、自然的运动、形变与振荡感知，而无需任何物理运动。