[논문 리뷰] Perceptual Quality Assessment of Colored 3D Point Clouds

Honglei Su, Qi Liu외 3명|arXiv (Cornell University)|2021. 11. 10.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 다중 시점 투영을 통한 정보량 가중 구조적 유사도를 기반으로, 색상이 있는 3D 포인트 클라우드를 위한 새로운 객관적 인지 품질 평가 모델인 IW-SSIM$_{\text{p}}$를 제안한다. 20개의 원본 전방위적, 고밀도, 다양한 포인트 클라우드에서 유도된 총 740개의 왜곡된 포인트 클라우드를 포함하는 가장 큰 공개 가능하고 고품질의 포인트 클라우드 데이터베이스(WPC)를 도입하였으며, 제안된 모델이 여러 데이터베이스에서 주관적 품질 평가와의 상관관계에서 기존 방법들을 뛰어나게 성능을 발휘함을 보였다.

ABSTRACT

The real-world applications of 3D point clouds have been growing rapidly in recent years, but not much effective work has been dedicated to perceptual quality assessment of colored 3D point clouds. In this work, we first build a large 3D point cloud database for subjective and objective quality assessment of point clouds. We construct 20 high quality, realistic, and omni-directional point clouds of diverse contents. We then apply downsampling, Gaussian noise, and three types of compression algorithms to create 740 distorted point clouds. We carry out a subjective experiment to evaluate the quality of distorted point clouds. Our statistical analysis finds that existing objective point cloud quality assessment (PCQA) models only achieve limited success in predicting subjective quality ratings. We propose a novel objective PCQA model based on the principle of information content weighted structural similarity. Our experimental results show that the proposed model well correlates with subjective opinions and significantly outperforms the existing PCQA models. The database has been made publicly available to facilitate reproducible research at https://github.com/qdushl/Waterloo-Point-Cloud-Database.

연구 동기 및 목표

• 인지 품질 평가를 위한 대규모, 고품질, 다양한 포인트 클라우드 데이터베이스의 부족 문제를 해결하기 위해.
• 기존 객관적 포인트 클라우드 품질 평가(PCQA) 모델들이 인간의 주관적 품질 평가를 예측하는 데에 한계를 보이고 있음을 규명하기 위해.
• 정보량 가중치와 구조적 유사도를 통합하여 인간의 인지 인식과 더 잘 일치하는 새로운 객관적 PCQA 모델을 개발하기 위해.
• 향후 포인트 클라우드 처리 및 품질 평가 연구를 위한 공개 가능하고 재현 가능한 벤치마크 데이터베이스(WPC)를 구축하기 위해.

제안 방법

• 20개의 원본 색상이 있는 3D 포인트 클라우드를 고품질, 전방위적, 다양한 특성을 갖도록 구성하고, 각각 평균 135만 개의 볼록체로 변환한다.
• 다운샘플링, 가우시안 노이즈, 그리고 세 가지 압축 알고리즘(G-PCC, V-PCC, Draco+JPEG)을 적용하여 총 740개의 왜곡된 포인트 클라우드를 생성한다.
• 208명의 참가자가 참여한 실험실 통제 조건 하의 이중 자극 독립 평가(DSIS) 주관적 시험을 실시하여 모든 왜곡된 포인트 클라우드의 평균 의견 점수(MOS)를 수집한다.
• 포인트 클라우드를 다중 2D 시점으로 투영하고 정보량 기반 가중 구조적 유사도 지표를 계산하는 새로운 기반 투영 객관적 PCQA 모델인 IW-SSIM$_{\text{p}}$를 제안한다.
• IW-SSIM$_{\text{p}}$의 성능을 여러 데이터베이스에서 기존 14개의 객관적 PCQA 모델과 비교하기 위해 통계적 유의성 검정(t-검정)을 실시한다.
• 일곱 개의 기존 PCQA 데이터베이스에서의 교차 데이터베이스 검증을 수행하여 제안된 모델의 일반화 능력과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 대규모, 다양한, 고품질의 포인트 클라우드 데이터베이스에서 평가할 경우, 기존 객관적 PCQA 모델들이 주관적 품질 평가를 얼마나 잘 예측하는가?
• RQ2 정보량 가중치와 구조적 유사도를 통합한 투영 기반 객관적 PCQA 모델이 현재 최고 수준의 모델들보다 인간의 인지 품질을 더 잘 예측할 수 있는가?
• RQ3 다양한 콘텐츠와 왜곡 유형을 가진 다양한 포인트 클라우드 데이터베이스에서 제안된 IW-SSIM$_{\text{p}}$ 모델의 일반화 능력은 어떠한가?
• RQ4 GraphSIM, PointSSIM, PCQM, PCM RR와 같은 기존 모델들과 비교해 볼 때, 제안된 모델의 성능과 계산 효율성은 어떠한가?

주요 결과

• 제안된 IW-SSIM$_{\text{p}}$ 모델은 WPC 데이터베이스에서 PLCC 0.8504를 기록하여, GraphSIM(0.4420)과 PCM RR(0.3436)를 포함한 모든 기존 모델을 뛰어넘는 성능을 보였다.
• 교차 데이터베이스 검증에서 IW-SSIM$_{\text{p}}$는 ICIP2020 데이터베이스에서 최고의 SRCC 0.8968과 WPC 데이터베이스에서 0.8481을 기록하여 주관적 평가와 강한 상관관계를 보였다.
• 통계적 유의성 검정을 통해 IW-SSIM$_{\text{p}}$가 모든 평가된 모델보다 유의미하게 뛰어난 성능을 보이며, 다른 어떤 모델도 통계적으로 뛰어난 성능를 보이지 않았다.
• WPC 데이터베이스에서 모델은 RMSE 12.0620을 기록하여, PCM RR(22.9234), PointSSIM(21.5273), GraphSIM(20.5640)보다 유의미하게 낮아 예측 정확도가 높음을 시사했다.
• 기존의 기하학적 정보 전용 및 기하학적 정보 + 색상 왜곡 측정 지표들은 통계적으로 서로 구별되지 않았지만, 제안된 모델은 항상 이들을 뛰어넘는 성능를 보였다.
• 740개의 왜곡된 포인트 클라우드와 품질 평가 점수가 열악한 상태에서 우수한 상태까지 균일하게 분포된 WPC 데이터베이스는 향후 PCQA 연구를 위한 견고한 벤치마크를 제공한다.