[논문 리뷰] Point Cloud Quality Assessment: Dataset Construction and Learning-based No-Reference Metric

Yipeng Liu, Qi Yang외 2명|arXiv (Cornell University)|2020. 12. 22.

Optical measurement and interference techniques인용 수 10

한 줄 요약

이 논문은 22,000개 이상의 손상된 포인트 클라우드를 포함한 새로 구축한 대규모 데이터셋(LS-PCQA)을 기반으로, 희소 컨볼루션 신경망을 사용하는 비참조 포인트 클라우드 품질 평가 메트릭인 ResSCNN를 제안한다. 이 방법은 비참조 메트릭 중에서 최고 성능을 기록하며, 몇몇 전통적 참조 기반 메트릭을 능가하여 다양한 손상 유형에 걸쳐 강력한 일반화 능력과 강인성을 입증한다.

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point clouds is difficult, so no-reference (NR) metrics have become a research hotspot. Few researches about NR-PCQA are carried out due to the lack of a large-scale PCQA dataset. In this paper, we first build a large-scale PCQA dataset named LS-PCQA, which includes 104 reference point clouds and more than 22,000 distorted samples. In the dataset, each reference point cloud is augmented with 31 types of impairments (e.g., Gaussian noise, contrast distortion, local missing, and compression loss) at 7 distortion levels. Besides, each distorted point cloud is assigned with a pseudo quality score as its substitute of Mean Opinion Score (MOS). Inspired by the hierarchical perception system and considering the intrinsic attributes of point clouds, we propose a NR metric ResSCNN based on sparse convolutional neural network (CNN) to accurately estimate the subjective quality of point clouds. We conduct several experiments to evaluate the performance of the proposed NR metric. The results demonstrate that ResSCNN exhibits the state-of-the-art (SOTA) performance among all the existing NR-PCQA metrics and even outperforms some FR metrics. The dataset presented in this work will be made publicly accessible at http://smt.sjtu.edu.cn. The source code for the proposed ResSCNN can be found at https://github.com/lyp22/ResSCNN.

연구 동기 및 목표

• 비참조 포인트 클라우드 품질 평가(NR-PCQA)를 위한 대규모 공개 데이터셋의 부족 문제를 해결하기 위해.
• 참조 포인트 클라우드가 필요 없는 강력하고 일반화 능력이 뛰어난 학습 기반의 NR-PCQA 메트릭을 개발하기 위해.
• 비정규적이고 산재된 포인트 클라우드 데이터를 처리하는 데 한계를 보이는 밀도 높은 컨볼루션의 문제점을 해결하기 위해.
• 계층적 인지 프레임워크를 통해 기하학적 및 색상 관련 손상을 동시에 모델링하여 품질 평가 정확도를 향상시키기 위해.
• 참고 데이터가 이용 불가능한 실세계 응용 분야에서 고성능이고 확장 가능한 NR-PCQA를 가능하게 하기 위해.

제안 방법

• 104개의 기준 포인트 클라우드와 31종류의 손상 유형을 7단계 수준으로 각각 적용한 22,000개 이상의 손상된 샘플을 포함한 LS-PCQA 데이터셋을 구축하였다.
• 완전한 주관적 테스트 없이도 지도 학습이 가능하도록 손상된 샘플에 가짜 평균의견점수(MOS)를 할당하였다.
• 희소 컨볼루션 신경망(ResSCNN)을 설계하여 비정규적이고 산재된 포인트 클라우드 데이터를 낮은 메모리 사용과 높은 추론 속도로 효율적으로 처리하였다.
• 인간 시각 인지 구조를 영감으로 삼은 계층적 특징 학습을 통합하여 국소적 및 전반적인 기하학적 및 색상 특징을 모두 캡처하였다.
• 희소 CNN 아키텍처에 잔차 연결을 활용하여 학습 안정성과 특징 표현 능력을 향상시켰다.
• 손상된 포인트 클라우드에서 직접 주관적 품질 점수를 예측하기 위해 LS-PCQA 데이터셋을 기반으로 모델을 엔드 투 엔드로 훈련시켰다.

실험 결과

연구 질문

• RQ1 대규모 공개 PCQA 데이터셋은 학습 기반의 비참조 NR-PCQA 메트릭의 일반화 능력을 크게 향상시킬 수 있는가?
• RQ2 희소 CNN 기반 아키텍처는 비정규적 포인트 클라우드 데이터를 처리하는 데 있어 기존의 밀도 높은 컨볼루션 기반 모델보다 우수한 성능을 낼 수 있는가?
• RQ3 다양한 손상 유형으로 훈련된 비참조 메트릭이 참조 기반 메트릭과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 참고 포인트 클라우드에 접근할 수 없는 상황에서, 제안된 방법은 기하학적 및 색상 기반 손상 유형 전반에서 어떻게 성능을 발휘하는가?
• RQ5 계층적 특징 학습과 색상 분포 모델링은 비참조 PCQA 성능 향상에 어느 정도 기여하는가?

주요 결과

• ResSCNN는 기존의 모든 비참조 PCQA 메트릭 중에서 최고 성능을 기록하며, 이전의 학습 기반 및 비학습 기반 접근 방식을 모두 능가한다.
• 지역적 손실(Local Missing)과 같은 기하학적 손상에 대해 ResSCNN는 스피어만 순서상관계수(SRCC) 1.00을 기록하여 현저하게 뛰어난 성능을 보였다.
• 전체 LS-PCQA 데이터셋에서 ResSCNN는 SRCC 0.83과 피어슨 선형상관계수(PLCC) 0.81을 기록하여 다양한 손상 유형에 걸쳐 강력한 일반화 능력을 입증하였다.
• 특히 VPCC 및 GPCC 압축과 같은 복잡한 손상에 대해 참조 기반 메트릭과 경쟁 가능한 성능을 보였으며, SRCC 값이 0.80 이상을 기록하였다.
• 비참조(NR)와 참조(FR) 메트릭 간의 성능 격차는 여전히 존재하며, 특히 대trast Distortion 및 포isson 노이즈와 같은 색상 기반 손상에서는 더 나은 색상 인식 모델링이 필요함을 시사한다.
• LS-PCQA 데이터셋은 더 작은 데이터셋으로 훈련된 이전 방법에 비해 ResSCNN의 뛰어난 성능을 통해 강력하고 일반화 능력이 뛰어난 NR-PCQA 모델의 훈련을 가능하게 한다.