[논문 리뷰] BASICS: Broad quality Assessment of Static point clouds In Compression Scenarios

Ali Ak, Emin Zerman외 5명|arXiv (Cornell University)|2023. 02. 09.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 다양한 시나리오, 특히 학습 기반 방법을 포함한 정적 포인트 클라우드 압축 환경에서의 주관적 품질 평가를 위한 대규모 공개 데이터베이스인 BASICS를 소개한다. 이는 최신 품질 측정 지표의 벤치마킹을 가능하게 하며, 특히 GeoCNN 압축에서 유도된 새로운 왜곡에 대해 인간의 인지 성능을 예측하는 데 있어 PCQM이 다른 지표들보다 뛰어나다는 것을 드러낸다.

ABSTRACT

Point clouds have become increasingly prevalent in representing 3D scenes within virtual environments, alongside 3D meshes. Their ease of capture has facilitated a wide array of applications on mobile devices, from smartphones to autonomous vehicles. Notably, point cloud compression has reached an advanced stage and has been standardized. However, the availability of quality assessment datasets, which are essential for developing improved objective quality metrics, remains limited. In this paper, we introduce BASICS, a large-scale quality assessment dataset tailored for static point clouds. The BASICS dataset comprises 75 unique point clouds, each compressed with four different algorithms including a learning-based method, resulting in the evaluation of nearly 1500 point clouds by 3500 unique participants. Furthermore, we conduct a comprehensive analysis of the gathered data, benchmark existing point cloud quality assessment metrics and identify their limitations. By publicly releasing the BASICS dataset, we lay the foundation for addressing these limitations and fostering the development of more precise quality metrics.

연구 동기 및 목표

• 압축 환경에서 포인트 클라우드 품질 평가를 위한 다양한, 일관되고 확장 가능한 주관적 데이터베이스의 부족을 해결하기 위해.
• 학습 기반 포인트 클라우드 압축 및 품질 평가 방법의 개발과 평가를 지원하기 위해.
• 표준화되고 일관되며 공개 접근 가능한 데이터셋을 제공하여 렌더링 및 바이트화된 좌표를 정규화함으로써 신뢰할 수 있는 벤치마킹을 가능하게 하기 위해.
• 여러 압축 알고리즘과 의미적 콘텐츠를 포함한 대규모 커뮤니티 기반 스터디를 통해 인지 품질 평가를 가능하게 하기 위해.
• 기존 객관적 품질 측정 지표의 한계, 특히 학습 기반 코덱에서 유도된 새로운 왜곡을 다루는 데에서의 한계를 규명하기 위해.

제안 방법

• 저자들은 75개의 의미적으로 유의미한 3D 포인트 클라우드를 생성하였으며, 각각 GPCC, VPCC, GeoCNN 및 기본값 코덱 4종으로 압축하였다.
• 모든 포인트 클라우드는 좌표 일관성을 확보하고 삼각형 바이트로 안정적이고 플리커 없는 렌더링을 가능하게 하기 위해 10비트 양자화를 통해 바이트화되었다.
• 3,500명이 넘는 초보 관찰자들을 대상으로 한 대규모 커뮤니티 기반 스터디를 수행하였으며, 쌍별 비교(측면 대 비교, DSIS) 주관적 테스트 방법을 사용하여 처리된 포인트 클라우드 쌍의 점수를 매겼다.
• 평균 의견 점수(MOS)는 통계적 검정(Tukey의 정직한 검정)을 사용하여 수집 및 분석하였으며, 쌍을 '유사' 또는 '다른'으로 분류하고, 순서에 따라 '더 좋음' 또는 '더 나쁨'으로 추가 분류하였다.
• 이 데이터셋을 사용하여 40개의 최신 객관적 품질 측정 지표를 벤치마킹하였다. 이는 포인트 기반 및 렌더링 기반 접근 방식을 모두 포함한다.
• 성능는 '다른 vs 유사' 및 '더 좋음 vs 더 나쁨' 분류 작업에서 AUC 및 정확한 분류 비율(CC)을 사용하여 정량화되었다.

실험 결과

연구 질문

• RQ1 대규모로 다양하고 일관된 주관적 데이터베이스는 학습 기반 포인트 클라우드 압축 방법 평가를 향상시킬 수 있는가?
• RQ2 기존 객관적 품질 측정 지표는 GeoCNN과 같은 학습 기반 코덱에서 유도된 왜곡에 대해 인간의 인지 성능을 얼마나 잘 예측하는가?
• RQ3 현재의 지표들이 압축된 포인트 클라우드에서 인지적으로 의미 있는 차이를 구분하는 데에서 어떤 한계를 지니는가?
• RQ4 데이터셋의 일관성(예: 바이트화, 렌더링)이 품질 평가 연구의 신뢰성에 어느 정도 영향을 미치는가?
• RQ5 표준화되고 공개 가능한 데이터베이스는 향후 포인트 클라우드 품질 평가의 기반으로 기능할 수 있는가?

주요 결과

• BASICS 데이터베이스는 75개의 원본 포인트 클라우드를 포함하며, 각각 4개의 압축된 버전으로 구성되어 있어 총 1,494개의 처리된 포인트 클라우드와 3,600건 이상의 주관적 평가를 포함한다.
• 14,143개의 쌍별 비교 중 9,124개가 통계적으로 유의미하였으며, 이 중 4,075개는 '더 좋음'으로, 5,049개는 '더 나쁨'으로 분류되었다.
• '다른 vs 유사' 및 '더 좋음 vs 더 나쁨' 분류 작업 모두에서 PCQM이 가장 높은 AUC 값을 기록하였으며, 후자의 경우 ADM2를 제외한 모든 다른 지표보다 유의미하게 뛰어났다.
• 대부분의 기존 지표는 GPCC 및 VPCC 왜곡에 대해 잘 작동하지만, GeoCNN에서 유도된 품질 저하 평가에선 정확도가 떨어지며, 이는 현재 지표 설계의 심각한 격차를 드러낸다.
• 이 연구는 이전 데이터셋에서의 렌더링의 일관성 부족과 정규화 부재가 신뢰성에 악영향을 미친다는 것을 확인하였으며, 향후 데이터베이스에서 표준화의 중요성을 강조한다.
• 이 데이터베이스는 ICIP 2023 그랜드 챌린지가 종료된 후 공개되며, CC BY-NC-SA 4.0 라이선스 하에 전체 액세스가 허가된다.