[논문 리뷰] Dynamic Polygon Clouds: Representation and Compression for VR/AR

Philip A. Chou, Eduardo Pavéz외 2명|arXiv (Cornell University)|2016. 10. 03.

Computer Graphics and Visualization Techniques참고 문헌 37인용 수 3

한 줄 요약

이 논문은 VR/AR 응용을 위한 동적 삼각형 클라우드라는 하이브리드 3D 표현 방식을 제안한다. 이는 점 클라우드의 강건성과 메쉬의 압축 효율성을 결합한 것이다. 공간 직교 변환, 운동 보정, 엔트로피 코딩을 활용하여 기존 최고 수준의 동적 점 클라우드 코덱보다 33% 더 뛰어난 압축 성능을 달성했으며, 오кт리 기반 방법 대비 기하학적 비트레이트를 최대 45배까지 감소시켰다.

ABSTRACT

We introduce the {\em polygon cloud}, also known as a polygon set or {\em soup}, as a compressible representation of 3D geometry (including its attributes, such as color texture) intermediate between polygonal meshes and point clouds. Dynamic or time-varying polygon clouds, like dynamic polygonal meshes and dynamic point clouds, can take advantage of temporal redundancy for compression, if certain challenges are addressed. In this paper, we propose methods for compressing both static and dynamic polygon clouds, specifically triangle clouds. We compare triangle clouds to both triangle meshes and point clouds in terms of compression, for live captured dynamic colored geometry. We find that triangle clouds can be compressed nearly as well as triangle meshes, while being far more robust to noise and other structures typically found in live captures, which violate the assumption of a smooth surface manifold, such as lines, points, and ragged boundaries. We also find that triangle clouds can be used to compress point clouds with significantly better performance than previously demonstrated point cloud compression methods. In particular, for intra-frame coding of geometry, our method improves upon octree-based intra-frame coding by a factor of 5-10 in bit rate. Inter-frame coding improves this by another factor of 2-5. Overall, our dynamic triangle cloud compression improves over the previous state-of-the-art in dynamic point cloud compression by 33\% or more.

연구 동기 및 목표

• VR/AR 응용에서 실세계의 노이즈, 비다양한 표면 특성 등으로 인해 발생하는 노이즈가 많고 비다양한 표면을 가진 실시간 촬영 3D 기하학을 표현하는 데 있어 전통적인 다각형 메쉬와 점 클라우드의 한계를 해결한다.
• 실세계의 왜곡(예: 선, 점, 불규칙한 경계 등)을 처리할 수 있는 강건한 손실 압축 프레임워크를 개발한다.
• 공간적 및 시간적 중복성을 활용하여 동적 3D 장면의 기하학적 및 색상 데이터의 압축 효율을 향상시킨다.
• 실시간 촬영된 동적 색상 기하학에서 메쉬와 점 클라우드보다 삼각형 클라우드가 더 뛰어난 압축 성능을 보임을 입증한다.
• 고급 변환 및 예측 기법을 통해 비트레이트를 크게 감소시켜 동적 점 클라우드 압축의 새로운 기준을 설정한다.

제안 방법

• 기하학적 표면을 다각형 구름으로 표현한다—즉, 다각형 집합을 비구조적으로 구성하며, 다각형의 다각형성 제약 없이 노이즈 및 비표면 특성에 강건하다.
• 기준 프레임(I 프레임)에서 정점 위치와 색상 벡터에 공간 직교 변환을 적용하여 압축 이전에 공간적 상관관계를 제거한다.
• P 프레임에 대해 운동 보정 예측을 사용한다: 시간에 따라 삼각형 정점을 추적하고 운동 잔차를 코드화하여 시간적 중복성을 활용한다.
• 기준 프레임의 삼각형을 볼록화하여 균일한 색상 텍스처 샘플링을 보장하고, 프레임 간 일관된 벡터 공간 표현을 가능하게 한다.
• 변환 및 예측 단계 이후 기하학적 및 색상 데이터에 대해 균일한 스칼라 양자화와 엔트로피 코딩을 적용한다.
• 내부(I) 및 예측(P) 프레임을 포함하는 프레임 그룹(GOF) 모델을 사용하여 최적의 비트레이트 절감을 위한 하이브리드 내부/외부 코딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실세계의 왜곡이 있는 실시간 촬영 동적 3D 기하학을 압축할 때, 다각형 구름 표현 방식이 기존의 메쉬와 점 클라우드를 능가할 수 있는가?
• RQ2 동적 삼각형 클라우드 내의 공간적 및 시간적 중복성은 얼마나 효율적으로 압축에 활용될 수 있는가?
• RQ3 제안된 압축 방법은 동적 점 클라우드 및 메쉬 압축 분야의 최고 수준 기술과 비교해 비트레이트 및 품질 측면에서 어떻게 성능을 내는가?
• RQ4 코덱 파이프라인에서 기하학적 코딩 정확도가 색상 왜곡 측정치에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 손실 없는 볼록화된 기하학적 코딩에 대한 2.5 bpv 규칙의 한계를 뛰어넘을 수 있는가?

주요 결과

• 제안된 방법은 이전의 오кт리 기반 내부 프레임 코딩 대비 볼록화된 점 클라우드의 내부 프레임 기하학 비트레이트를 5–10배까지 감소시켜 2.5 bpv 규칙의 한계를 깨뜨렸다.
• 외부 프레임 기하학 코딩은 내부 프레임 코딩 대비 비트레이트를 2–5배 더 감소시켰으며, 기준 오кт리 방법 대비 최대 45배의 감소를 달성했다.
• 색상 코딩의 경우, 세 개의 테스트 시퀀스 중 하나에서 비트레이트를 약 30% 향상시키거나 PSNR를 약 2 dB 향상시켰으며, 성능 향상은 운동 추정 정확도에 따라 달라졌다.
• 종합적으로 동적 삼각형 클라우드 압축은 이전 최고 수준의 동적 점 클라우드 압축 기술 대비 비트레이트를 33% 이상 감소시켰다.
• 삼각형 클라우드는 메쉬 수준의 효율성으로 동적 색상 기하학을 압축할 수 있으며, 노이즈 및 비다양한 기하학적 요소에 대해 훨씬 더 강건하다.
• 본 연구는 다각형 구름이 메쉬와 점 클라우드를 일반화할 수 있음을 입증하며, 실세계 촬영 오염 요소에 강건함을 유지하면서도 고압축 효율성을 달성할 수 있음을 보여준다.