[論文レビュー] Deformation Lamps: A Projection Technique to Make Static Objects Perceptually Dynamic

Takahiro Kawabe, Taiki Fukiage+2 more|arXiv (Cornell University)|Mar 3, 2016

Visual perception and processing mechanisms参考文献 55被引用数 33

ひとこと要約

本稿では、静的な2次元および3次元オブジェクトに動的な輝度パターンを投影することで、元の色やテクスチャを保ちながらも、鮮やかで現実的な錯覚的運動や変形を引き起こす『変形ランプ』と呼ばれるプロジェクション技術を紹介する。脳は輝度と静的な視覚的特徴の間の空間的不一致を自動で是正するため、物理的な変化なしに、動きの錯覚が生じる。

ABSTRACT

Light projection is a powerful technique that can be used to edit the appearance of objects in the real world. Based on pixel-wise modification of light transport, previous techniques have successfully modified static surface properties such as surface color, dynamic range, gloss, and shading. Here, we propose an alternative light projection technique that adds a variety of illusory yet realistic distortions to a wide range of static 2D and 3D projection targets. The key idea of our technique, referred to as (Deformation Lamps), is to project only dynamic luminance information, which effectively activates the motion (and shape) processing in the visual system while preserving the color and texture of the original object. Although the projected dynamic luminance information is spatially inconsistent with the color and texture of the target object, the observer's brain automatically combines these sensory signals in such a way as to correct the inconsistency across visual attributes. We conducted a psychophysical experiment to investigate the characteristics of the inconsistency correction and found that the correction was critically dependent on the retinal magnitude of the inconsistency. Another experiment showed that the perceived magnitude of image deformation produced by our techniques was underestimated. The results ruled out the possibility that the effect obtained by our technique stemmed simply from the physical change in an object's appearance by light projection. Finally, we discuss how our techniques can make the observers perceive a vivid and natural movement, deformation, or oscillation of a variety of static objects, including drawn pictures, printed photographs, sculptures with 3D shading, and objects with natural textures including human bodies.

研究の動機と目的

• 静的な物理的オブジェクトに動的な変形の錯覚を生み出す新しい光プロジェクション技術の開発。
• 視覚系が動的な輝度と静的な色・テクスチャという一貫性のない視覚的特徴を、一体となった知覚体験に統合する仕組みを解明すること。
• 輝度のみのプロジェクションによって誘発される運動および変形の錯覚の知覚的限界とメカニズムを特定すること。
• 光のプロジェクションによる物体の外観変化が、観察された知覚的効果の原因である可能性を除外すること。

提案手法

• 静的な2次元および3次元オブジェクトに動的な輝度パターンを投影し、元の色やテクスチャを保持する。
• 空間的構造を変更せずに時間的に変化する輝度を調整することで、視覚系の運動および形状処理経路を活用する。
• 空間的に不一致な輝度信号を用いて、脳が感覚的不一致を自動で是正するメカニズムを活用し、知覚的運動および変形を誘発する。
• 心理物理学実験を実施し、不一致の網膜的大きさとその知覚的是正への影響を測定する。
• 描き起こし、写真、3次元彫刻、自然なテクスチャを持つ人体など、さまざまな対象に制御された輝度パターンを適用する。
• 知覚的スケーリングタスクを用いて、被験者が提示された変形の大きさを正確に報告しているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚系は、動的な輝度と静的な色／テクスチャの間の空間的不一致をどのように解消し、錯覚的運動および変形を生じさせるのか？
• RQ2 不一致の網膜的大きさが、知覚的錯覚の強度とリアルさに果たす役割は何か？
• RQ3 観察者が知覚する変形の大きさは、どの程度系統的に低く評価されているのか？この傾向が、錯覚のリアルさにどのように影響するか？
• RQ4 複雑なテクスチャや3次元シェーディングを持つオブジェクトに対しても、動的変形の錯覚を信頼性高く誘発できるか？
• RQ5 観察された効果は、知覚的統合によるものか、単に光のプロジェクションによる物体外観の物理的変化によるものか？

主な発見

• 視覚系は、動的な輝度と静的な視覚的特徴の間の空間的不一致を自動で是正するため、強力な知覚的錯覚的運動および変形が生じる。
• 知覚的是正の強度は、不一致の網膜的大きさに強く依存しており、不一致が大きいほどより説得力のある錯覚が生じた。
• 被験者は、知覚される画像の変形の大きさを系統的に低く評価しており、これは錯覚のリアルさを高める可能性がある知覚的バイアスを示している。
• この錯覚効果は、描かれた絵、印刷された写真、3次元彫刻、自然なテクスチャを持つ人体など、多様な静的対象にわたり持続した。
• 物理的外観変化が主な原因である可能性は結果から除外され、錯覚は知覚的統合によるものであり、物理的変更によるものではないことが確認された。
• この技術により、物理的運動が一切ない静的なオブジェクトに対しても、鮮やかで自然な動き、変形、振動の知覚が成功裏に誘発された。