[논문 리뷰] Point Cloud Quality Assessment: Dataset Construction and Learning-based No-Reference Approach

Yipeng Liu, Qi Yang외 2명|arXiv (Cornell University)|2020. 12. 22.

Optical measurement and interference techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 104개의 기준점군과 24,000개 이상의 왜곡된 버전을 포함하는 대규모 비참조(NR) 포인트 클라우드 품질 평가(PCQA) 데이터셋을 제안하며, 각각 33종류의 왜곡이 7단계 수준으로 적용됨. 이는 포인트 클라우드 속성에 맞게 최적화된 엔드 투 엔드 희소 컨volutional 신경망(CNN)을 도입하여 주관적 품질 예측을 신뢰성 있게 수행하며, 향후 연구를 위해 데이터셋을 공개함.

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point cloud is difficult, so the no-reference (NR) methods have become a research hotspot. Few researches about NR objective quality metrics are conducted due to the lack of a large-scale subjective point cloud dataset. Besides, the distinctive property of the point cloud format makes it infeasible to apply blind image quality assessment (IQA) methods directly to predict the quality scores of point clouds. In this paper, we establish a large-scale PCQA dataset, which includes 104 reference point clouds and more than 24,000 distorted point clouds. In the established dataset, each reference point cloud is augmented with 33 types of impairments (e.g., Gaussian noise, contrast distortion, geometry noise, local loss, and compression loss) at 7 different distortion levels. Besides, inspired by the hierarchical perception system and considering the intrinsic attributes of point clouds, an end-to-end sparse convolutional neural network (CNN) is designed to accurately estimate the subjective quality. We conduct several experiments to evaluate the performance of the proposed network. The results demonstrate that the proposed network has reliable performance. The dataset presented in this work will be publicly accessible at this http URL.

연구 동기 및 목표

• 비참조(NR) 품질 평가를 위한 대규모 주관적 포인트 클라우드 데이터셋 부족 문제를 해결하기 위해.
• 포인트 클라우드의 고유한 구조적 및 기하적 특성을 반영한 기계학습 기반의 비참조 PCQA 방법을 개발하기 위해.
• 기준 포인트 클라우드가 필요 없이 주관적 품질을 정확하게 추정할 수 있는 딥 러닝 모델을 설계하기 위해.
• 다양한 왜곡 유형과 수준을 지원하는 벤치마크 데이터셋을 구축하여 강력한 모델 훈련 및 평가를 가능하게 하기 위해.
• 구축된 데이터셋을 공개함으로써 향후 비참조 PCQA 분야의 연구를 가능하게 하기 위해.

제안 방법

• 104개의 기준 포인트 클라우드와 24,000개 이상의 왜곡된 변형을 포함하는 대규모 PCQA 데이터셋 구축.
• 기준 포인트 클라우드 당 7단계 수준으로 33종류의 고유한 왜곡 유형(예: 가우시안 노이즈, 대trast 왜곡, 기하학적 노이즈, 국소 손실, 압축 손실 등)을 적용.
• 계층적 인식에 영감을 받은 엔드 투 엔드 희소 컨volutional 신경망(CNN) 설계로, 포인트 클라우드 특화 기능에 최적화됨.
• 왜곡된 포인트 클라우드에서 직접 주관적 품질 점수를 예측하기 위해 구축된 데이터셋으로 희소 CNN 훈련.
• 비정규적인 포인트 클라우드 데이터를 효율적으로 처리하고 기하학적 구조를 유지하기 위해 희소 컨볼루션 사용.
• 주관적 점수 대비 성능 평가를 위해 표준 상관관계 지표를 사용하여 모델 평가.

실험 결과

연구 질문

• RQ1 왜곡된 포인트 클라우드의 대규모이고 다양한 데이터셋을 효과적으로 구축하여 비참조 품질 평가를 지원할 수 있는가?
• RQ2 이 데이터셋으로 훈련된 딥 러닝 모델이 기준 포인트 클라우드에 접근하지 못하는 조건에서도 주관적 품질을 얼마나 잘 예측할 수 있는가?
• RQ3 포인트 클라우드 기하학적 특성에 맞게 설계된 희소 CNN 아키텍처가 일반적인 이미지 기반 품질 평가 방법보다 포인트 클라우드 데이터에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 방법의 성능은 다양한 왜곡 유형과 수준에서 어떻게 나타나는가?
• RQ5 제안된 비참조 PCQA 모델은 예상치 못한 포인트 클라우드 왜곡에 얼마나 일반화되어 있는가?

주요 결과

• 제안된 데이터셋은 104개의 기준 포인트 클라우드와 24,000개 이상의 왜곡된 버전을 포함하며, 33종류의 왜곡 유형이 7단계 수준으로 적용되어 포괄적인 평가를 가능하게 함.
• 엔드 투 엔드 희소 CNN은 주관적 품질 점수 예측에서 뛰어난 성능을 보이며, 포인트 클라우드 특화 기능에 적합한 아키텍처의 효과성을 입증함.
• 포인트 클라우드의 비정규적이고 기하학적인 특성에 맞게 설계된 덕분에, 일반적인 이미지 기반 품질 평가 방법보다 성능이 뛰어남.
• 데이터셋은 공개되어 있어 향후 비참조 포인트 클라우드 품질 평가 분야의 가치 있는 기준이 됨.
• 통제된 왜곡이 적용된 다양하고 대규모 데이터셋으로 훈련된 경우 기계학습 기반 비참조 PCQA가 실현 가능하고 효과적임을 확인함.
• 다양한 왜곡 유형에서 일관된 성능을 보이며, 다양한 품질 저하 패tern에 대한 강건성을 입증함.