[논문 리뷰] Visualization and Labeling of Point Clouds in Virtual Reality

Jonathan Dyssel Stets, Yongbin Sun외 2명|DSpace@MIT (Massachusetts Institute of Technology)|2018. 04. 11.

Computer Graphics and Visualization Techniques인용 수 12

한 줄 요약

이 논문은 촉각 피드백이 있는 수동 컨트롤러를 사용하여 동적 포인트 클라우드 시퀀스에 대한 직관적이고 3차원 인식 레이블링을 위한 VR 기반 시스템을 제시한다. ICP 및 색상 보강 ICP 알고리즘을 통한 실시간 추적을 결합함으로써, 이 시스템은 움직이는 물체에 대해 효율적인 프레임 간 레이블링을 가능하게 하며, 점프 핀 데이터를 대상으로 실험하여 2D 인터페이스 대비 레이블링 속도와 정확도를 크게 향상시킨다.

ABSTRACT

We present a Virtual Reality (VR) application for labeling and handling point cloud data sets. A series of room-scale point clouds are recorded as a video sequence using a Microsoft Kinect. The data can be played and paused, and frames can be skipped just like in a video player. The user can walk around and inspect the data while it is playing or paused. Using the tracked hand-held controller, the user can select and label individual parts of the point cloud. The points are highlighted with a color when they are labeled. With a tracking algorithm, the labeled points can be tracked from frame to frame to ease the labeling process. Our sample data is an RGB point cloud recording of two people juggling with pins. Here, the user can select and label, for example, the juggler pins as shown in Figure 1. Each juggler pin is labeled with various colors to indicate di erent labels.

연구 동기 및 목표

• 복잡한 3차원 포인트 클라우드 데이터 레이블링에서 정사영 평면에서 분리되지 않는 물체가 존재할 경우 2D 인터페이스의 비효율성을 해결하기 위해.
• 가상현실에서 실시간으로 몰입감 있는 점검과 레이블링이 가능하도록 실내 규모의 애니메이션 포인트 클라우드 시퀀스를 위한 인터페이스를 제공하기 위해.
• 비디오 유사한 포인트 클라우드 시퀀스에서 수동 레이블링 작업을 줄이기 위해 프레임 간 자동 추적을 도입하기 위해.
• 실제 인간 운동과 물체를 포함한 역동적 실세계 시나리오에 대해 고정밀 레이블링을 위한 VR의 실현 가능성을 입증하기 위해.
• 로봇 공학, 자율 주행 시스템, 3차원 콘텐츠 제작 분야의 미래 응용을 지원하기 위해 개선된 레이블링된 포인트 클라우드 데이터셋을 제공하기 위해.

제안 방법

• 시스템은 Microsoft Kinect 2를 통해 약 30fps 속도로 RGB-D 데이터를 캡처하고, 이를 (X,Y,Z,R,G,B) 형식의 포인트 클라우드로 변환하여 이진 형식으로 저장한다.
• HTC Vive를 기반으로 한 VR 애플리케이션을 통해 사용자는 트래킹된 헤드셋과 수동 컨트롤러를 사용하여 실내 규모의 시각화 및 상호작용이 가능하다.
• 사용자는 컨트롤러의 페인트브러시 유사 도구를 통해 포인트를 레이블링하며, 선택의 촉각 피드백을 통해 터치적 확인을 받는다.
• 레이블은 색상으로 구분되며, 컨트롤러의 터치패드를 사용해 순환하거나 삭제할 수 있다.
• 반복 최소 제곱(Iterative Closest Point, ICP) 알고리즘을 통해 프레임 i의 레이블된 포인트를 프레임 i+1로 추적하며 최적의 회전과 이동을 추정한다.
• 색상 보강 ICP 변종은 k-d 트리 기반의 효율적 근접 이웃 검색을 통해 공간적 근접성과 색상 유사성을 기반으로 매칭을 선택함으로써 추적 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전통적인 2D 인터페이스에 비해 몰입형 VR 상호작용이 복잡한 3차원 포인트 클라우드 시퀀스의 레이블링 효율성과 정확도를 향상시키는가?
• RQ2 프레임 간 자동 추적 기술이 역동적 포인트 클라우드 데이터에서 수동 레이블링 작업을 얼마나 효과적으로 줄이는가?
• RQ3 ICP 알고리즘에 색상 정보를 통합함으로써 포인트 클라우드 시퀀스에서 추적의 강건성과 정확도가 얼마나 향상되는가?
• RQ4 VR 기반 레이블링 시스템은 인간-물체 상호작용과 같은 대규모 애니메이션 3차원 장면의 확장 가능한 상호작용 편집을 지원할 수 있는가?
• RQ5 촉각 피드백과 3차원 제스처 기반 선택이 3차원 데이터 레이블링 워크플로우에서 실질적인 이점을 제공하는가?

주요 결과

• VR 기반 레이블링 시스템은 기존 2D 인터페이스에 비해 복잡한 공간적 구성에서 더 빠르고 직관적인 3차원 포인트 클라우드 시퀀스 레이블링을 가능하게 한다.
• ICP 기반 추적 기술을 활용함으로써 레이블이 프레임 간에 높은 일관성으로 전파되어 수동 레이블링 작업이 크게 감소한다.
• 색상 보강 ICP 변종은 기하학적 유사성과 색채 유사성을 동시에 고려함으로써 매칭의 정확도를 향상시킨다.
• 선택 시 촉각 피드백은 사용자의 상호작용 인식을 향상시켜 레이블링 작업의 자신감과 정밀도를 높인다.
• 시스템은 점프 핀과 같은 다수의 구분 가능한 물체를 최소한의 프레임당 사용자 입력으로 여러 프레임에 걸쳐 성공적으로 레이블링하고 추적한다.
• 이 방법은 Kinect 데이터를 초월해 다양한 척도, 해상도 및 데이터 소스를 가진 포인트 클라우드에도 일반화 가능하다.