[논문 리뷰] Using Computer Vision Techniques for Moving Poster Design

Sérgio M. Rebelo, Pedro Martins외 2명|arXiv (Cornell University)|2018. 11. 27.

Augmented Reality Applications참고 문헌 1인용 수 5

한 줄 요약

이 논문은 운동 추적과 환경 데이터를 통한 물리적 환경 감지를 통해 실시간으로 움직이는 포스터를 동적으로 생성하는 컴퓨터 비전 기반 시스템을 제시한다. 이는 사용자 존재와 주변 환경에 따라 실시간으로 적응하는 상황 인지형 상호작용 디자인을 가능하게 하며, 각 시청자에게 고유하고 개인화된 포스터 경험을 제공한다. 주요 기여는 실시간 시각 입력과 그래픽 디자인을 통합한 신규 프레임워크로, 시청자마다 유일무복재인 개인화된 포스터 경험을 만들어낸다.

ABSTRACT

Graphic Design encompasses a wide range of activities from the design of traditional print media (e.g., books and posters) to site-specific (e.g., signage systems) and electronic media (e.g., interfaces). Its practice always explores the new possibilities of information and communication technologies. Therefore, interactivity and participation have become key features in the design process. Even in traditional print media, graphic designers are trying to enhance user experience and exploring new interaction models. Moving posters are an example of this. This type of posters combine the specific features of motion and print worlds in order to produce attractive forms of communication that explore and exploit the potential of digital screens. In our opinion, the next step towards the integration of moving posters with the surroundings, where they operate, is incorporating data from the environment, which also enables the seamless participation of the audience. As such, the adoption of computer vision techniques for moving poster design becomes a natural approach. Following this line of thought, we present a system wherein computer vision techniques are used to shape a moving poster. Although it is still a work in progress, the system is already able to sense the surrounding physical environment and translate the collected data into graphical information. The data is gathered from the environment in two ways: (1) directly using motion tracking; and (2) indirectly via contextual ambient data. In this sense, each user interaction with the system results in a different experience and in a unique poster design.

연구 동기 및 목표

• 컴퓨터 비전과 그래픽 디자인을 통합하여 상호작용형 움직이는 포스터를 개발하는 것.
• 실시간 환경 데이터와 사용자 상호작용에 기반한 동적 포스터 생성을 가능하게 하는 것.
• 상황 인지 및 운동 기반 입력이 실시간으로 시각적 출력에 어떻게 영향을 주는지 탐구하는 것.
• 환경 감지를 통해 포스터 콘텐츠를 개인화함으로써 사용자 참여도를 향상시키는 것.

제안 방법

• 시스템은 사용자 움직임과 포스터에 대한 상대적 위치를 감지하기 위해 운동 추적을 사용한다.
• 조명, 소음, 존재 여부 등의 환경적 맥락 데이터는 센서와 컴퓨터 비전 알고리즘을 통해 수집된다.
• 포스터의 시각적 요소는 실시간 입력 데이터에 기반해 정규적으로 생성되거나 수정된다.
• 피드백 루프는 환경 자극에 대한 반응으로 포스터의 시각적 구성 요소를 지속적으로 업데이트한다.
• 디자인 엔진은 센서 데이터를 색상, 운동, 레이아웃 등의 시각적 파라미터로 매핑한다.
• 시스템은 디지털 디스플레이 플랫폼에 구현되어 실시간으로 적응형 시각 콘텐츠를 렲영한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 기법을 어떻게 활용하여 실시간 환경 입력에 기반해 움직이는 포스터 콘텐츠를 동적으로 적응시킬 수 있는가?
• RQ2 어떤 종류의 사용자 상호작용과 환경 자극이 효과적으로 시각적 디자인 변화로 번역될 수 있는가?
• RQ3 시각적 요소의 실시간 적응이 사용자 인식과 포스터에 대한 참여도에 어떤 영향을 미치는가?
• RQ4 물리적 환경에서 유래한 맥락 데이터가 움직이는 포스터의 미적 및 행동적 출력을 얼마나 깊이 있게 형상화할 수 있는가?

주요 결과

• 시스템은 컴퓨터 비전을 통해 사용자 존재와 움직임을 성공적으로 감지하여 실시간 포스터 적응을 가능하게 했다.
• 조명 수준과 소음 수준과 같은 환경 데이터의 통합은 포스터의 맥락 인지 시각적 변화를 가능하게 했다.
• 사용자 상호작용마다 고유한 포스터 디자인이 생성되어 개인화 및 참여도가 향상되었다.
• 프로토타입은 컴퓨터 비전을 활용해 상호작용적이고 반응형 포스터 경험을 창출하는 데의 실현 가능성을 입증했다.
• 시스템은 포스터가 환경의 동적 변화에 반응함으로써 관객의 원활한 참여를 가능하게 했다.
• 이 접근법은 공공 공간, 전시회, 상호작용 설치물 등 향후 적용 가능성이 높은 분야에 잠재력을 지닌다.