[논문 리뷰] TPIFM: A Task-Aware Model for Evaluating Perceptual Interaction Fluency in Remote AR Collaboration

Jiarun Song, Ninghao Wan외 2명|arXiv (Cornell University)|2026. 03. 10.

Augmented Reality Applications인용 수 0

한 줄 요약

논문은 TPIFM을 제안합니다. 네트워크 장애 하에서 원격 AR 협업의 지각적 상호작용 유창성(PIF)을 평가하는 작업 인식 모델로서, 작업별 JND를 고려하고 모델을 검증하기 위해 주관적 실험을 사용합니다.

ABSTRACT

Remote Collaborative Augmented Reality (RCAR) enables geographically distributed users to collaborate by integrating virtual and physical environments. However, because RCAR relies on real-time transmission, it is susceptible to delay and stalling impairments under constrained network conditions. Perceptual interaction fluency (PIF), defined as the perceived pace and responsiveness of collaboration, is influenced not only by physical network impairments but also by intrinsic task characteristics. These characteristics can be interpreted as the task-specific just-noticeable difference (JND), i.e., the maximal tolerable temporal responsiveness before PIF degrades. When the average response time (ART), measured as the mean time per operation from receiving collaborator feedback to initiating the next action, falls within the JND, PIF is generally sustained, whereas values exceeding it indicate disruption. Tasks differ in their JNDs, reflecting distinct temporal responsiveness demands and sensitivities to impairments. From the perspective of the Free Energy Principle (FEP), tasks with lower JNDs impose stricter temporal prediction demands, making PIF more vulnerable to impairments, whereas higher JNDs allow greater tolerance. On this basis, we classify RCAR tasks by JND and evaluate their PIF through controlled subjective experiments under delay, stalling, and hybrid conditions. Building on these findings, we propose the Task-Aware Perceptual Interaction Fluency Model (TPIFM). Experimental results show that TPIFM accurately assesses PIF under network impairments, providing guidance for adaptive RCAR design and user experience optimization under network constraints.

연구 동기 및 목표

• RCAR에서 지각적 상호작용 유창성(PIF)과 네트워크 장애 및 작업 특성에 따른 의존성을 동기 부여하고 정의한다.
• 작업별 정지 여부 차이(JND)를 시간적 반응성 허용도의 척도로 도입한다.
• 지연, 정체 및 하이브리드 조건에서 PIF를 평가하기 위한 작업 인식 상호작용 유창성 모델(TPIFM)을 개발한다.
• JND로 RCAR 작업을 분류하고 통제된 주관적 실험을 통해 PIF를 분석하여 적응형 RCAR 설계에 정보를 제공한다.

제안 방법

• RCAR 맥락에서 PIF와 JND를 정의하고 JND를 자유에너지 원리(FEP) 예측과 연관시킨다.
• 지연, 정체 및 하이브리드 장애 하에서 제어된 주관적 실험을 수행하여 작업 간 PIF 데이터를 수집한다.
• TPIFM을 개발하여 관찰된 PIF를 작업 JND 및 장애 유형에 매핑한다.
• 네트워크 장애 하에서 PIF 평가의 정확성을 평가하고 RCAR 최적화를 위한 설계 가이드를 도출한다.

실험 결과

연구 질문

• RQ1 네트워크 장애 하에서 작업별 JND가 원격 AR 협업의 지각적 상호작용 유창성에 어떤 영향을 미치는가?
• RQ2 TPIFM은 지연, 정체 및 하이브리드 조건에서 PIF를 정확하게 평가할 수 있는가?
• RQ3 시간 예측 욕구(FEP에 따른)가 서로 다른 JND를 가진 작업에서 PIF 취약성에 어떻게 영향을 미치는가?
• RQ4 네트워크 제약 하에서 적응형 RCAR 설계를 위한 TPIFM의 가이던스는 무엇인가?

주요 결과

• TPIFM은 제어된 실험에서 네트워크 장애 하의 PIF를 성공적으로 평가한다.
• 더 낮은 JND를 가진 작업은 더 엄격한 시간 예측 요구를 부과하고 PIF 취약성이 더 큰 것으로 나타난다.
• 모형에 의해 예측된 대로 더 높은 JND 작업은 시간적 장애에 대한 더 큰 허용도를 보인다.
• 네트워크 제약 하에서 적응형 RCAR 설계 및 사용자 경험 최적화를 위한 가이드라인을 제공한다.