[논문 리뷰] All Reality: Virtual, Augmented, Mixed (X), Mediated (X,Y), and Multimediated Reality

Steve Mann, Thomas A. Furness외 3명|arXiv (Cornell University)|2018. 04. 20.

Virtual Reality Applications and Impacts참고 문헌 23인용 수 126

한 줄 요약

이 논문은 현실( VR/AR/MR/XR/mediated/phenomenological) 의 포괄적 분류학과 연속체를 제안하고, extra senses 및 사회적/감시적 고려를 포함한 다차원적 다감각 프레임워크로 Multimediated Reality를 도입한다.

ABSTRACT

The contributions of this paper are: (1) a taxonomy of the "Realities" (Virtual, Augmented, Mixed, Mediated, etc.), and (2) some new kinds of "reality" that come from nature itself, i.e. that expand our notion beyond synthetic realities to include also phenomenological realities. VR (Virtual Reality) replaces the real world with a simulated experience (virtual world). AR (Augmented Reality) allows a virtual world to be experienced while also experiencing the real world at the same time. Mixed Reality provides blends that interpolate between real and virtual worlds in various proportions, along a "Virtuality" axis, and extrapolate to an "X-axis". Mediated Reality goes a step further by mixing/blending and also modifying reality. This modifying of reality introduces a second axis. Mediated Reality is useful as a seeing aid (e.g. modifying reality to make it easier to understand), and for psychology experiments like Stratton's 1896 upside-down eyeglasses experiment. We propose Multimediated Reality as a multidimensional multisensory mediated reality that includes not just interactive multimedia-based reality for our five senses, but also includes additional senses (like sensory sonar, sensory radar, etc.), as well as our human actions/actuators. These extra senses are mapped to our human senses using synthetic synesthesia. This allows us to directly experience real (but otherwise invisible) phenomena, such as wave propagation and wave interference patterns, so that we can see radio waves and sound waves and how they interact with objects and each other. Multimediated reality is multidimensional, multimodal, multisensory, and multiscale. It is also multidisciplinary, in that we must consider not just the user, but also how the technology affects others, e.g. how its physical appearance affects social situations.

연구 동기 및 목표

• VR, AR, MR, XR, mediated reality, 및 multimediated reality를 포함한 Realities의 분류학 및 프레임워크 정의.
• 전통적 현실 개념을 확장하여 합성 감각을 넘어 현상학적 및 다감각적 경험을 포함한다.
• 추가 감각과 인간의 행동을 인간의 지각에 매핑하는 다차원 시스템으로서의 Multimediated Reality 아이디어를 도입한다.
• 개인정보 보호 및 veillance를 포함한 Multimediated Reality의 사회적, 윤리적, 인프라적 고려를 강조한다.

제안 방법

• VR/AR/MR/XR 및 매개 현실의 역사적 및 현대적 개념을 검토하고 종합한다.
• 신생 현실을 분류하기 위한 다차원 연속체(Reality–Virtuality, Mediality, Phenomenality)를 제안한다.
• 물리적 현상(파동, 간섭)을 직접 지각할 수 있도록 현상학 기반 시각화, SWIM 유사 센싱과 같은 하드웨어/소프트웨어 구성요소를 도입한다.
• 다감각적 공감각성과 인간-루프 지능(HI)을 다중배치 및 다스케일 생태계에 통합한 Multimediated Reality를 기술한다.
• 다수의 축(Reality–Virtuality, Mediality, Phenomenality, Veillance, Wearability 등)을 가진 연속체 모델을 제시하고 설계 및 윤리적 함의에 대해 논의한다.

실험 결과

연구 질문

• RQ1 VR, AR, MR, XR, mediated reality, 및 현상학적 현실을 가장 잘 포착하는 분류학 및 연속체는 무엇인가?
• RQ2 추가 감각과 인간의 행동을 포함하는 다차원적이고 다감각적 프레임워크로서의 Multimediated Reality를 어떻게 구현할 수 있는가?
• RQ3 웨어러블 및 스마트 환경에 걸친 Multimediated Reality의 사회적, 개인정보 보호 및 윤리적 함의는 무엇인가?
• RQ4 매개/현상학적 접근이 전통적 측정 및 교육 도구를 어떻게 보완할 수 있는가?

주요 결과

• 가상현실, 증강현실, 혼합현실, XR 및 매개 현 Reality를 통합하기 위한 형식적 분류학과 다차원적 연속체가 제안된다.
• Multimediated Reality는 합성 감각을 넘어 추가 감각(예: 라디오, 음향측정)을 포함하는 합성 공감각을 통해 물리적 현상을 직접 시각화하도록 확장한다.
• 이 프레임워크는 다스케일, 다감각적 경험을 강조하고 사회적 및 veillance(감시 및 sousveillance) 고려를 통합한다.
• 현상학적 현실은 자연 기반 신호(예: 파동 전파)를 통해 실제 물리량을 직접 시각화하는 방식으로 도입된다.
• HI(인문주의 인텔리전스)와 피드백 루프 접근이 지능적이고 책임 있는 다매개 시스템의 핵심으로 제안된다.
• 연속체는 감각적 감쇠, 환경 맥락(스마트 빌딩/도시) 및 미래 디자인의 윤리적 차원을 통합한다.