[논문 리뷰] Point Cloud Quality Assessment: Large-scale Dataset Construction and Learning-based No-Reference Approach

Yipeng Liu, Qi Yang외 2명|arXiv (Cornell University)|2020. 12. 22.

Optical measurement and interference techniques인용 수 15

한 줄 요약

이 논문은 104개의 기준점군과 24,000개 이상의 왜곡 버전을 포함한 대규모 비참조(Point Cloud Quality Assessment, PCQA) 데이터셋을 소개한다. 각 왜곡은 34종류의 왜곡 유형을 7단계의 수준으로 적용하였다. 이는 점군의 기하학적 구조와 계층적 특성을 고려한 엔드 투 엔드 스퍼스 컨volution 신경망(Sparse CNN)을 제안하여 주관적 품질 예측을 신뢰성 있게 수행하며, 연구 발전을 위해 데이터셋을 공개하였다.

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point cloud is difficult, so the no-reference (NR) methods have become a research hotspot. Since learning-based FR-PCQA methods should be driven by data, few researches about NR objective quality metrics are conducted due to lack of large-scale subjective point cloud dataset. The shortage of point cloud data restricts the development of NR-PCQA techniques. Besides, the distinctive property of point cloud format makes infeasible applying blind image quality assessment (IQA) methods directly to predict the quality scores of point clouds. In this paper, we establish a large-scale PCQA dataset, which includes 104 reference point clouds and more than 24,000 distorted point clouds. In the established dataset, each reference point cloud is augmented with 34 types of impairments (e.g., Gaussian noise, contrast distortion, geometry noise, local loss, and compression loss) at 7 different distortion levels. Besides, inspired by the hierarchical perception system and considering the intrinsic attribute of point clouds, an end-to-end sparse convolutional neural network (CNN) is designed to accurately estimate the subjective quality. We conduct experiments on the new dataset to evaluate the performance of the proposed network. The results demonstrate that the proposed network has reliable performance. The dataset presented in this work will be publicly accessible at this http URL

연구 동기 및 목표

• 학습 및 평가를 위한 대규모 주관적 점군 데이터셋 부족 문제를 해결하기 위해.
• 점군의 고유한 기하학적 및 구조적 특성으로 인해 직접적인 블라인드 이미지 품질 평가(IQA) 방법을 적용하는 데에 한계가 있음을 극복하기 위해.
• 계층적 인식과 점군의 내재적 특성을 활용하여 정확한 품질 예측을 위한 기반 학습 기반의 비참조 PCQA 방법을 개발하기 위해.
• 다양하고 체계적으로 왜곡된 점군과 주관적 평가 점수를 제공함으로써 향후 비참조 PCQA 연구를 촉진하기 위한 기준 데이터셋을 구축하기 위해.
• 참조 데이터가 필요 없이 원시 점군에서 품질 점수를 엔드 투 엔드로 학습함으로써 실세계 상황에서의 실용성을 향상시키기 위해.

제안 방법

• 104개의 기준점군과 24,000개 이상의 왜곡된 점군 버전을 포함한 대규모 PCQA 데이터셋을 구축하였으며, 각각 34종류의 고유한 왜곡 유형을 7단계의 수준으로 적용하였다.
• 점군의 계층적 인식 구조와 내재된 기하학적 특성을 활용한 새로운 엔드 투 엔드 스퍼스 컨volution 신경망(CNN)을 설계하였다.
• 비정규적인 점군 데이터를 효율적으로 처리하기 위해 스퍼스 컨볼루션을 활용하여 공간적 구조를 유지하고 효과적인 특징 학습을 가능하게 하였다.
• 새로운 데이터셋에서의 주관적 품질 점수를 사용하여 네트워크를 훈련시켜, 왜곡된 점군에서 직접 비참조 품질 점수를 예측하도록 하였다.
• 지역적 기하학적 왜곡과 전반적인 구조적 열화를 모두 포괄하는 다중 수준의 특징 추출을 통합하였다.
• 예측된 점수와 주관적 품질 점수 간의 차이를 최소화하기 위해 회귀 손실을 사용하여 네트워크를 최적화하였다.

실험 결과

연구 질문

• RQ1 다양하고 체계적으로 생성된 대규모 주관적 점군 데이터셋은 비참조 PCQA 모델의 성능 향상에 기여하는가?
• RQ2 참조 데이터 없이도 스퍼스 CNN 아키텍처가 왜곡된 점군에서 주관적 품질을 효과적으로 예측할 수 있는가?
• RQ3 기하학적 노이즈, 압축 손실, 대비 열화 등 다양한 유형의 왜곡에 대해 제안된 방법의 일반화 성능는 어떠한가?
• RQ4 기존의 딥러닝 접근 방식에 비해 네트워크의 계층적 설계가 점군 내에서 인지적으로 관련 있는 특징을 더 잘 포착하는가?
• RQ5 참조 점군이 없음에도 불구하고 제안된 방법이 인간의 평가 점수와 높은 상관성을 가지는가?

주요 결과

• 제안된 스퍼스 CNN는 새로운 데이터셋에서 주관적 품질 점수 예측에 뛰어난 성능을 보이며, 다양한 왜곡 유형에 걸쳐 뛰어난 일반화 능력을 입증하였다.
• 34종류의 왜곡 유형과 7단계의 왜곡 수준을 포함한 대규모 데이터셋은 비참조 PCQA 모델의 강력한 훈련 및 평가를 가능하게 하였다.
• 기본 모델 대비 네트워크 성능이 뚜렷이 향상되어, 점군 품질 평가에 있어 스퍼스 CNN 아키텍처의 효과성을 입증하였다.
• 모델는 주관적 평가 점수와 높은 상관성을 확보하여 인간의 점군 열화 인식을 모방할 수 있는 능력을 입증하였다.
• 데이터셋의 다양성과 규모는 향후 비참조 PCQA 연구의 기준 데이터셋으로 적합하다.
• 데이터셋의 공개는 비참조 점군 품질 평가 분야의 혁신을 가속화할 것으로 기대된다.