[논문 리뷰] RL-LABEL: A Deep Reinforcement Learning Approach Intended for AR Label Placement in Dynamic Scenarios

Zhutian Chen, Daniele Chiappalupi외 4명|arXiv (Cornell University)|2023. 08. 20.

Interactive and Immersive DisplaysComputer Science참고 문헌 52인용 수 3

한 줄 요약

RL-Label는 이동하는 물체와 사용자 시점의 현재 상태와 향후 예측 상태를 활용하여 동적 AR 레이블 배치를 위한 딥 강화학습 기반 접근법을 제안한다. 이는 즉각적인 목표와 장기적 목표를 균형 있게 고려함으로써, 시뮬레이션된 AR 시나리오에서 실제 운동 데이터를 사용하여 레이블 가림, 선 교차, 이동 거리 등을 감소시킨다. 이는 힘 기반 및 시점 관리 없음 기반의 베이스라인보다 우수한 성능을 보인다.

ABSTRACT

Labels are widely used in augmented reality (AR) to display digital information. Ensuring the readability of AR labels requires placing them occlusion-free while keeping visual linkings legible, especially when multiple labels exist in the scene. Although existing optimization-based methods, such as force-based methods, are effective in managing AR labels in static scenarios, they often struggle in dynamic scenarios with constantly moving objects. This is due to their focus on generating layouts optimal for the current moment, neglecting future moments and leading to sub-optimal or unstable layouts over time. In this work, we present RL-LABEL, a deep reinforcement learning-based method for managing the placement of AR labels in scenarios involving moving objects. RL-LABEL considers the current and predicted future states of objects and labels, such as positions and velocities, as well as the user's viewpoint, to make informed decisions about label placement. It balances the trade-offs between immediate and long-term objectives. Our experiments on two real-world datasets show that RL-LABEL effectively learns the decision-making process for long-term optimization, outperforming two baselines (i.e., no view management and a force-based method) by minimizing label occlusions, line intersections, and label movement distance. Additionally, a user study involving 18 participants indicates that RL-LABEL excels over the baselines in aiding users to identify, compare, and summarize data on AR labels within dynamic scenes.

연구 동기 및 목표

• 지속적으로 이동하는 물체가 존재하는 동적 AR 시나리오에서 기존 최적화 기반 레이블 배치 방법의 한계를 해결하기 위해.
• 레이아웃의 장기적 안정성을 확보하기 위해 현재 상태뿐 아니라 예측된 향후 상태까지 고려하는 시점 관리 시스템을 개발하기 위해.
• 다양한 이동 요소가 존재하는 동적 AR 환경에서 레이블의 가독성과 시각적 연결선의 명확성을 향상시키기 위해.
• 강화학습이 정적 또는 순간 최적화를 넘어서 동적 AR 환경에서의 레이블 배치 관리에 효과적으로 활용될 수 있는지 평가하기 위해.
• RL 기반 레이블 관리가 동적 AR 환경에서 시각적 검색 및 데이터 요약 작업에서 사용자 성능을 향상시키는지 입증하기 위해.

제안 방법

• RL-Label는 물체 및 레이블의 상태(위치, 속도, 사용자 시점 포함)를 관찰하여 배치 결정을 내리는 딥 강화학습 프레임워크를 사용한다.
• 에이전트는 즉각적인 목표(예: 가림 방지)와 장기적 목표(예: 향후 가림 방지 및 레이블 안정성 확보)를 균형 있게 고려하도록 훈련된다.
• 환경은 농구 선수와 캠퍼스 학생의 실제 궤적 데이터셋을 사용하여 시뮬레이션되며, 현실적인 동적 운동 패턴을 구현한다.
• 상태 표현은 물체 위치, 속도, 레이블 위치, 시점 관점 등을 포함하며, 이는 연속적인 액션 공간으로 인코딩되어 레이블 재배치에 활용된다.
• 가림, 선 교차, 과도한 레이블 이동을 방지하기 위한 보상 함수를 설계하였으며, 가시성과 안정성을 높이는 데도 보상이 제공된다.
• 성능와 사용성 검증을 위해 시뮬레이션된 VR 환경과 사용자 연구를 모두 활용하여 평가가 이루어진다.

실험 결과

연구 질문

• RQ1 강화학습 기반 시스템은 이동하는 물체가 존재하는 동적 환경에서 AR 레이블 배치를 효과적으로 관리할 수 있는가?
• RQ2 미래 예측 상태를 고려함으로써 순간 최적화에 비해 레이블 배치의 안정성 향상과 가림 감소에 어떤 기여를 하는가?
• RQ3 RL-Label는 힘 기반 및 시점 관리 없음 기반의 베이스라인에 비해 레이블 가림과 이동 거리를 얼마나 줄일 수 있는가?
• RQ4 RL-Label는 동적 AR 환경에서 시각적 검색, 비교, 요약 작업에서 사용자 성능에 어떤 영향을 미치는가?
• RQ5 RL 기반 접근법은 다양한 수의 이동 물체와 동적 레이블 구성이 존재하는 환경으로도 일반화 가능한가?

주요 결과

• 시뮬레이션된 AR 시나리오에서 RL-Label는 시점 관리 없음 기반 및 힘 기반 방법에 비해 레이블 가림을 크게 감소시켰다.
• 리더 라인 교차 수를著명하게 감소시키고 레이블 이동 거리를 최소화하여 시각적 안정성에 기여하였다.
• 18명의 참가자가 참여한 사용자 연구에서, RL-Label는 동적 환경에서 레이블의 정보 식별, 비교, 요약 작업에서 사용자 성능을 향상시켰다.
• 후방 플레이어 이동 시나리오에서 보듯이, 단기적 가림을 약간 희생하여 장기적으로 심각한 가림을 방지하는 효과적인 장기 최적화를 수행함을 입증하였다.
• 레이블 가시성 유지 및 물체 운동 중 갑작스러운 레이블 이동 최소화 측면에서, 베이스라인 대비 뛰어난 성능을 보였다.
• 실제 운동 궤적 데이터에 대해 잘 일반화되며, 농구 및 캠퍼스 데이터셋에서 유래한 다양한 동적 운동 패턴에 대해 뛰어난 내구성을 보였다.