[논문 리뷰] PointPCA: Point Cloud Objective Quality Assessment Using PCA-Based Descriptors

Evangelos Alexiou, Zhou, Xuemei외 2명|arXiv (Cornell University)|2021. 11. 24.

3D Shape Modeling and Analysis인용 수 11

한 줄 요약

PointPCA는 주로 주요 성분 분석(PCA)을 기반으로 한 기하학적 및 텍스처 기반 기술자들을 사용하여 3D 포인트 클라우드에 대한 전반적인 기준이 되는 객관적 품질 측도를 제안한다. 기하학적 및 색상 데이터의 국소 이웃에 대한 PCA 분해에서 통계적 특징을 추출하고, Random Forest 회귀를 통해 이를 융합함으로써 다양한 주관적 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, PLCC는 최대 0.942, SROCC는 최대 0.942를 기록하였다.

ABSTRACT

Point clouds denote a prominent solution for the representation of 3D photo-realistic content in immersive applications. Similarly to other imaging modalities, quality predictions for point cloud contents are vital for a wide range of applications, enabling trade-off optimizations between data quality and data size in every processing step from acquisition to rendering. In this work, we focus on use cases that consider human end-users consuming point cloud contents and, hence, we concentrate on visual quality metrics. In particular, we propose a set of perceptually relevant descriptors based on Principal Component Analysis (PCA) decomposition, which is applied to both geometry and texture data for full-reference point cloud quality assessment. Statistical features are derived from these descriptors to characterize local shape and appearance properties for both a reference and a distorted point cloud. The extracted statistical features are subsequently compared to provide corresponding predictions of visual quality for the distorted point cloud. As part of our method, a learning-based approach is proposed to fuse these individual predictors to a unified perceptual score. We validate the accuracy of the individual predictors, as well as the unified quality scores obtained after regression against subjectively annotated datasets, showing that our metric outperforms state-of-the-art solutions. Insights regarding design decisions are provided through exploratory studies, evaluating the performance of our metric under different parameter configurations, attribute domains, color spaces, and regression models. A software implementation of the proposed metric is made available at the following link: https://github.com/cwi-dis/pointpca.

연구 동기 및 목표

• 이머ERSION 응용 분야에서 포인트 클라우드 콘텐츠에 대한 인지적으로 관련성이 있는 전반적인 기준 객관적 품질 측도를 개발하기 위해.
• 기존 측도의 한계를 보완하기 위해 국소적인 형태와 외관 특성을 포괄하는 PCA 기반 기술자를 활용하기 위해.
• 학습 기반의 회귀 프레임워크를 통해 다수의 수작업 기반 기술자를 융합하여 품질 예측 정확도를 향상시키기 위해.
• 다양한 데이터셋에서의 검증을 통해 최적의 파라미터 설정, 색상 공간, 기술자 조합에 대한 통찰을 제공하기 위해.

제안 방법

• 포인트 클라우드의 기하학적 및 색상 데이터에 대한 국소 이웃에 PCA를 적용하여 주성분을 형태 및 외관 기술자로 추출하기 위해.
• 각 국소 영역의 고유값 및 고유벡터에 대한 PCA 분해에서 통계적 특징(평균, 분산, 왜도, 첨도)을 계산하기 위해.
• 기준 및 왜곡된 포인트 클라우드 간의 통계적 기술자 간 비교를 통해 기하학적 및 텍스처 왜곡의 인지적 정도를 정량화하기 위해.
• 개별 기하학적 및 텍스처 예측자들을 Random Forest 회귀를 통해 통합된 품질 점수로 융합하기 위해.
• 다양한 회귀 모델(예: R3, R6)을 평가하고, 추론 실험을 통해 최고 성능을 보이는 설정을 선별하기 위해.
• 공개된 주관적 데이터셋에서 방법을 검증하고, 다양한 왜곡 유형 및 데이터셋 간 성능을 분석하기 위해.

실험 결과

연구 질문

• RQ1 PCA 기반 기하학적 및 텍스처 기술자는 포인트 클라우드에서 인지적으로 관련성이 있는 왜곡을 얼마나 효과적으로 포착하는가?
• RQ2 PCA에서 유도된 통계적 특징의 어떤 조합이 주관적 품질 점수와 가장 높은 상관관계를 가지는가?
• RQ3 색상 공간의 선택 및 기술자 도메인(기하학 vs. 텍스처)의 선택은 전체 품질 예측 성능에 어떤 영향을 미치는가?
• RQ4 다양한 포인트 클라우드 데이터셋에서 가장 우수한 일반화 능력과 예측 정확도를 보이는 회귀 모델(예: Random Forest 변종)은 무엇인가?
• RQ5 제안된 측도는 동일 데이터셋 및 교차 데이터셋 평가 모두에서 기존 최신 기술 수준의 객관적 품질 측도를 초월할 수 있는가?

주요 결과

• R3 회귀 모델을 사용할 경우 D1 데이터셋에서 PLCC 0.942, SROCC 0.942를 기록하여 기존 측도를 능가한다.
• R3 및 R6 Random Forest 모델은 높은 일반화 성능를 보이며, R3는 D1에서, R6는 D3에서 뛰어난 성능를 나타낸다.
• 모든 테스트된 데이터셋에서 텍스처 기반 PCA 기술자가 기하학적 기술자보다 일관되게 더 높은 정확도를 기록한다.
• 교차 데이터셋 평가에서도 높은 성능(PLCC > 0.80)을 유지하여 분포 이동에 대한 강력한 내성성을 보여준다.
• 기초 연구 결과, 기하학 및 텍스처 기술자를 모두 사용하고, 인지적으로 관련성이 있는 색상 공간을 적용할 경우 예측 정확도가 크게 향상됨을 확인하였다.
• 모든 세 가지 테스트 데이터셋(D1, D2, D3)에서 제안된 측도는 최신 기술 수준 솔루션을 모두 능가하며, 상관관계 지표에서 통계적으로 유의미한 향상을 보였다.