[논문 리뷰] Realizing Immersive Communications in Human Digital Twin by Edge Computing Empowered Tactile Internet: Visions and Case Study

Xiang Hao, Changyan Yi외 6명|arXiv (Cornell University)|2023. 04. 15.

Virtual Reality Applications and Impacts인용 수 6

한 줄 요약

이 논문은 실시간으로 고해상도의 인간 디지털 트윈(HDT) 응용 프로그램을 가능하게 하며 몰입감 있는 多감각 상호작용을 제공하는 새로운 프레임워크인 엣지 컴퓨팅 기반 터치 인터넷(ECoTI)을 제안한다. 엣지 컴퓨팅과 터치 인터넷을 통합함으로써 ECoTI는 지연 시간을 감소시키고 신뢰성을 향상시키며 물리적 트윈과 가상 트윈 간의 동적 동기화를 지원한다. 이는 물리 치료 사례 연구를 통해 검증되었으며, 시스템 반응성과 사용자 경험 향상이 확인되었다.

ABSTRACT

Human digital twin (HDT) is expected to revolutionize the future human lifestyle and prompts the development of advanced human-centric applications (e.g., Metaverse) by bridging physical and virtual spaces. However, the fulfillment of HDT poses stringent demands on the pervasive connectivity, real-time feedback, multi-modal data transmission and ultra-high reliability, which urge the need of enabling immersive communications. In this article, we shed light on the design of an immersive communication framework for HDT by edge computing empowered tactile Internet (namely IC-HDT-ECoTI). Aiming at offering strong interactions and extremely immersive quality of experience, we introduce the system architecture of IC-HDT-ECoTI, and analyze its major design requirements and challenges. Moreover, we present core guidelines and detailed steps for system implementations. In addition, we conduct an experimental study based on our recently built testbed, which shows a particular use case of IC-HDT-ECoTI in physical therapy, and the obtained results indicate that the proposed framework can significantly improve the effectiveness of the system. Finally, we conclude this article with a brief discussion of open issues and future directions.

연구 동기 및 목표

• 실시간 피드백, 초고신뢰성, 고해상도 가상 모델링과 같은 인간 디지털 트윈(HDT)의 엄격한 요구 사항을 충족시키기 위해.
• 단독으로 운영되는 터치 인터넷(TI)이 다감각 데이터 처리, 네트워크 지연, 시스템 확장성 측면에서 겪는 한계를 극복하기 위해.
• 몰입감 있는 HDT 경험을 위해 데이터 수집, 엣지 처리, 실시간 전송을 통합하는 ECoTI 프레임워크를 설계하기 위해.
• 실제 물리 치료 사례를 통해 ECoTI의 실현 가능성과 효과성을 입증하고 주관적 및 객관적 성능 평가를 수행하기 위해.
• 미래의 HDT 시스템을 위한 예측형 촉각, 보안, 몰입감 있는 사용자 경험 측면에서의 열린 과제를 규명하기 위해.

제안 방법

• 사용자 근처에 위치한 엣지 서버를 활용해 분산형 엣지 컴퓨팅 아키텍처를 구현하여 HDT 통신에서의 라운드트립 지연을 최소화하기 위해.
• 터치 장치(예: 장갑, Geomagic Touch)에 고정된 1 kHz 주파수 사각형 인코딩을 적용하여 촉각 신호를 압축하고 비디오 스트림과 동기화하기 위해.
• 고해상도의 동적 전환 가능 가상 치료 환경을 생성하기 위해 3D 렌더링 엔진(Unity 및 Unreal)을 통합하기 위해.
• 분산된 노드 간에 다중모달 데이터(비디오, 오디오, 촉각)를 저지연, 병렬 처리할 수 있도록 공동 엣지 컴퓨팅을 구현하기 위해.
• 시간 민감도가 높은 다중모달 데이터의 효율적 전송을 보장하기 위해 엣지에서 최적의 라우팅 및 스위칭 전략을 적용하기 위해.
• 엣지 지능과 AI 기반 신호 처리를 융합하여 촉각 피드백을 예측하고 필터링하며 압축하여 시스템 반응성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 엣지 컴퓨팅는 단독 터치 인터넷(TI)이 인간 디지털 트윈 응용 분야에서 지연, 신뢰성, 확장성 측면에서 겪는 한계를 어떻게 극복할 수 있는가?
• RQ2 물리적 트윈과 가상 트윈 간의 실시간, 고해상도 동기화를 달성하기 위해 어떤 시스템 아키텍처와 설계 원칙이 필요한가?
• RQ3 ECoTI는 원격 물리 치료와 같은 몰입형 HDT 응용 분야에서 사용자 경험 품질(QoE)을 어느 정도 향상시킬 수 있는가?
• RQ4 엣지 지능은 어떤 역할을 통해 동적 인간-기계 상호작용을 위한 예측형 및 저지연 촉각 피드백을 가능하게 하는가?
• RQ5 사용자가 참여하는 HDT 시스템에서 발생하는 보안, 개인정보 보호, 윤리적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• ECoTI 프레임워크는 데이터를 원천에 가까이 처리함으로써 시스템 지연을 크게 감소시켜 물리적 트윈과 가상 트윈 간의 실시간 상호작용을 가능하게 하였다.
• 참가자들의 주관적 평가 결과, 물리 치료 사례에서 매우 몰입감 있고 현실적인 사용자 경험을 확인하였다.
• 객관적 측정 결과, 지연과 지터가 낮았으며, 사각형 인코딩을 통해 촉각 신호가 1 kHz에서 동기화되어 일관된 피드백을 보장하였다.
• Unity 및 Unreal 엔진의 통합을 통해 고해상도 렌더링과 빠른 장면 전환이 가능해져 시각적 정밀도와 사용자 참여도가 향상되었다.
• 공동 엣지 컴퓨팅을 통해 다중모달 데이터의 저지연 병렬 처리가 구현되어 시스템 반응성과 신뢰성이 향상되었다.
• 사례 연구를 통해 ECoTI가 여러 감각 모odalities 간 정밀한 동기화가 필요한 복잡한 실시간 HDT 응용 분야를 효과적으로 지원하는 것으로 확인되었다.