[논문 리뷰] Deformation Lamps: A Projection Technique to Make Static Objects Perceptually Dynamic

Takahiro Kawabe, Taiki Fukiage외 2명|arXiv (Cornell University)|2016. 03. 03.

Visual perception and processing mechanisms참고 문헌 55인용 수 33

한 줄 요약

이 논문은 정적 2D 및 3D 물체에 동적 빛 강도 패턴을 투사함으로써 원래의 색상과 질감을 유지하면서도 생생하고 현실적인 시각적 운동 및 변형을 유도하는 '변형 램프(Deformation Lamps)'라는 투사 기법을 소개한다. 뇌는 빛 강도와 정적 시각적 특성 간의 공간적 일관성 불일치를 자동으로 보정함으로써 물리적 변화 없이도 움직임을 유발하는 강력한 환각을 만들어낸다.

ABSTRACT

Light projection is a powerful technique that can be used to edit the appearance of objects in the real world. Based on pixel-wise modification of light transport, previous techniques have successfully modified static surface properties such as surface color, dynamic range, gloss, and shading. Here, we propose an alternative light projection technique that adds a variety of illusory yet realistic distortions to a wide range of static 2D and 3D projection targets. The key idea of our technique, referred to as (Deformation Lamps), is to project only dynamic luminance information, which effectively activates the motion (and shape) processing in the visual system while preserving the color and texture of the original object. Although the projected dynamic luminance information is spatially inconsistent with the color and texture of the target object, the observer's brain automatically combines these sensory signals in such a way as to correct the inconsistency across visual attributes. We conducted a psychophysical experiment to investigate the characteristics of the inconsistency correction and found that the correction was critically dependent on the retinal magnitude of the inconsistency. Another experiment showed that the perceived magnitude of image deformation produced by our techniques was underestimated. The results ruled out the possibility that the effect obtained by our technique stemmed simply from the physical change in an object's appearance by light projection. Finally, we discuss how our techniques can make the observers perceive a vivid and natural movement, deformation, or oscillation of a variety of static objects, including drawn pictures, printed photographs, sculptures with 3D shading, and objects with natural textures including human bodies.

연구 동기 및 목표

• 정적 물리적 물체에 동적 변형의 환각을 유도하는 새로운 조명 투사 기법을 개발하는 것.
• 특히 동적 빛 강도와 정적 색상 및 질감 간의 비일관된 시각적 특성을 뇌가 어떻게 통합하여 일관된 인지 경험으로 만들지 연구하는 것.
• 빛 강도만으로 유도되는 운동 및 변형 환각의 인지적 한계와 기제를 규명하는 것.
• 관측된 인지적 효과의 원인이 빛 투사로 인한 물리적 외관 변화일 수 있다는 다른 설명들을 배제하는 것.

제안 방법

• 정적 2D 및 3D 물체에 동적 빛 강도 패턴을 투사하면서 원래의 색상과 질감을 유지하는 것.
• 공간적 구조를 변경하지 않고 시간에 따라 빛 강도를 조절하여 시각 시스템의 운동 및 형태 처리 경로를 활용하는 것.
• 공간적으로 비일관된 빛 강도 신호를 사용해 인지적 운동 및 변형을 유도하며, 뇌가 감각적 불일치를 자동으로 보정하는 데 의존하는 것.
• 인지적 보정에 영향을 주는 시각적 불일치의 망막 크기를 측정하기 위해 심리물리적 실험을 수행하는 것.
• 그림, 사진, 3D 조각, 자연스러운 질감을 가진 인간 신체 등 다양한 대상에 제어된 빛 강도 패턴을 적용하는 것.
• 관측자가 인식한 변형의 크기를 정확히 보고하는지 평가하기 위해 인지 척도 작업을 수행하는 것.

실험 결과

연구 질문

• RQ1 뇌는 동적 빛 강도와 정적 색상/질감 간의 공간적 불일치를 어떻게 해결하여 환각적 운동 및 변형을 생성하는가?
• RQ2 불일치의 망막 크기가 인지 환각의 강도와 현실성에 미치는 역할은 무엇인가?
• RQ3 관측자가 인식한 변형 크기를 체계적으로 과소평가하는 정도는 어느 정도이며, 이는 인지 환각의 현실성에 어떤 영향을 미치는가?
• RQ4 복잡한 질감과 3D 음영을 가진 다양한 정적 물체에 대해 동적 변형 환각을 신뢰성 있게 유도할 수 있는가?
• RQ5 관측된 효과는 인지 통합의 결과일까, 아니면 빛 투사로 인한 물체 외관의 물리적 변화 때문일까?

주요 결과

• 뇌는 동적 빛 강도와 정적 시각적 특성 간의 공간적 불일치를 자동으로 보정함으로써 강력한 인지적 환각을 유도할 수 있다.
• 인지 보정의 강도는 불일치의 망막 크기에 따라 결정되며, 더 큰 불일치일수록 더 강력한 환각을 유도한다.
• 관측자는 인식된 이미지 변형의 크기를 체계적으로 과소평가했으며, 이는 환각의 현실성 향상에 기여할 수 있는 인지 편향을 시사한다.
• 이 환각 효과는 그림, 인쇄된 사진, 3D 조각, 자연스러운 질감을 가진 인간 신체 등 다양한 정적 대상에서 지속되었다.
• 물리적 외관 변화가 효과의 주요 원인임을 배제한 결과, 환각은 물리적 변형이 아닌 인지 통합의 결과로 발생한다는 것이 확인되었다.
• 이 기법은 물리적 운동 없이도 정적 물체에 생생하고 자연스러운 움직임, 변형, 진동의 인식을 성공적으로 유도하였다.