[논문 리뷰] A 3D Motion Vector Database for Dynamic Point Clouds

André Souto, Ricardo L. de Queiroz외 1명|arXiv (Cornell University)|2020. 08. 19.

Advanced Vision and Imaging참고 문헌 3인용 수 6

한 줄 요약

이 논문은 마이크로소프트 및 8i 데이터셋을 대상으로 블록 기반 역방향 운동 추정을 사용하여 동적 포인트 클라우드를 위한 공개된 3D 운동 벡터 데이터베이스를 제시한다. 이 데이터베이스는 블록 크기 M=8 및 M=16에서 아홉 개의 시퀀스 전 프레임에 대한 운동 벡터를 제공하여, 다시 계산하지 않고도 효율적인 압축과 운동 분석을 가능하게 한다.

ABSTRACT

Due to the large amount of data that point clouds represent and the differences in geometry of successive frames, the generation of motion vectors for an entire point cloud dataset may require a significant amount of time and computational resources. With that in mind, we provide a 3D motion vector database for all frames of two popular dynamic point cloud datasets. The motion vectors were obtained through translational motion estimation procedure that partitions the point clouds into blocks of dimensions M x M x M , and for each block, a motion vector is estimated. Our database contains motion vectors for M = 8 and M = 16. The goal of this work is to describe this publicly available 3D motion vector database that can be used for different purposes, such as compression of dynamic point clouds.

연구 동기 및 목표

• 큰 동적 포인트 클라우드 시퀀스에서 운동 추정의 높은 계산 비용을 해결하기 위해.
• 연구용으로 재사용 가능한, 공개 가능한 3D 운동 벡터 데이터베이스를 제공하기 위해.
• 표준 데이터셋에 대해 사전에 운동 벡터를 계산하여 운동 추정에 소요되는 시간과 자원을 줄이기 위해.
• 동적 포인트 클라우드를 위한 운동보정 코딩 기법의 벤치마킹 및 개발을 지원하기 위해.
• 알려진 파rameter와 블록 크기를 제공함으로써 재현 가능한 실험을 가능하게 하기 위해.

제안 방법

• 운동 벡터는 볼록화된 포인트 클라우드에서 블록 기반 역방향 운동 추정 절차를 사용하여 계산된다.
• 각 프레임은 $M \times M \times M$ 크기의 겹치지 않는 입방체 블록으로 분할되며, $M = 8$ 또는 $M = 16$이다.
• 현재 프레임의 각 블록에 대해, 이전 프레임에서 블록 위치 중심을 기준으로 하는 $S \times S \times S$ 검색 공간 내에서 검색이 수행된다.
• 현재 블록의 볼록체와 이전 프레임의 후보 블록 내 가장 가까운 이웃 간의 대응 관계가 수립된다.
• 결합된 비용 함수를 기반으로 블록이 선택된다: $\delta = \delta_d + 0.35\delta_c$, 여기서 $\delta_d$는 평균 유클리드 거리이고 $\delta_c$는 평균 색상 거리이다.
• 결과적으로 얻어진 운동 벡터는 $ (M_x, M_y, M_z) = (x_{b^*} - x_b, y_{b^*} - y_b, z_{b^*} - z_b) $로 계산되며, 이는 이전 프레임에서의 최적 매칭 블록으로의 이동 거리를 나타낸다.

실험 결과

연구 질문

• RQ1 연구자들이 계산 오버헤드를 줄이기 위해 동적 포인트 클라우드에서 운동 추정을 효율적으로 사전 계산할 수 있는 방법은 무엇인가?
• RQ2 기하학적 및 색상 비용 지표를 병합한 블록 기반 운동 추정의 성능은 3D 포인트 클라우드 시퀀스에서 어떻게 나타나는가?
• RQ3 사전 계산된 운동 벡터는 동적 포인트 클라우드 압축 파이프라인의 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 다른 블록 크기(8×8×8 및 16×16×16)는 데이터베이스의 운동 벡터 정확도와 데이터 표현에 어떤 영향을 미치는가?
• RQ5 다양한 동적 포인트 클라우드 응용 분야를 고려할 때, 중앙집중식 3D 운동 벡터 데이터베이스의 확장성과 재사용 가능성은 어떠한가?

주요 결과

• 데이터베이스는 아홉 개의 동적 포인트 클라우드 시퀀스 전 프레임에 대한 운동 벡터를 제공한다: Andrew, David, Phil, Ricardo, Sarah, Longdress, Loot, Redandblack, 및 Soldier.
• 운동 벡터는 두 가지 블록 크기($M=8$ 및 $M=16$)로 계산되었으며, 각 프레임의 운동 벡터는 별도의 .mat 파일에 저장되었다.
• 데이터베이스는 깊이가 9 및 10인 시퀀스를 포함하며, 예를 들어 Andrew(1–317), Longdress(1052–1350), Soldier(537–835)의 프레임 범위를 커버한다.
• 각 .mat 파일에는 세 개의 변수가 포함되어 있다: `cubeDim` (블록 크기), `cubeList` (블록 좌표), `MVList` (해당 순서에 맞는 운동 벡터).
• 데이터베이스는 https://queiroz.divp.org/data/motionVectorDatabase.zip 에 호스팅되어 있으며, 적절한 인용을 포함해 연구 목적용으로 무료로 이용 가능하다.
• 운동 벡터 계산 과정은 계산적으로 집약적이며, 저자들은 이 데이터베이스를 재현하는 데 상당한 시간과 자원이 소요될 것임을 강조하여, 공개 배포의 타당성을 뒷받침한다.