[논문 리뷰] Inferring Point Cloud Quality via Graph Similarity

Qi Yang, Zhan Ma외 3명|arXiv (Cornell University)|2020. 05. 31.

Optical Imaging and Spectroscopy Techniques인용 수 12

한 줄 요약

이 논문은 비정형이고 비균일한 기하학적 구조 및 중첩된 색상 왜곡을 가진 3D 포인트 클라우드에서 인간 시각 인지 모델링을 위해 그래프 신호 처리를 활용하는 새로운 객관적 품질 평가 지표인 GraphSIM을 제안한다. 기하학적 관건점을 추출하고 국소 그래프를 구성하며, 그래프 구조 간의 색상 기울기 유사도를 계산하여, 두 개의 독립된 데이터셋에서 주관적 MOS와 최고 수준의 상관관계를 달성하며, MPEG 표준에서 사용하는 포인트 단위 지표를 능가한다.

ABSTRACT

We propose the GraphSIM -- an objective metric to accurately predict the subjective quality of point cloud with superimposed geometry and color impairments. Motivated by the facts that human vision system is more sensitive to the high spatial-frequency components (e.g., contours, edges), and weighs more to the local structural variations rather individual point intensity, we first extract geometric keypoints by resampling the reference point cloud geometry information to form the object skeleton; we then construct local graphs centered at these keypoints for both reference and distorted point clouds, followed by collectively aggregating color gradient moments (e.g., zeroth, first, and second) that are derived between all other points and centered keypoint in the same local graph for significant feature similarity (a.k.a., local significance) measurement; Final similarity index is obtained by pooling the local graph significance across all color channels and by averaging across all graphs. Our GraphSIM is validated using two large and independent point cloud assessment datasets that involve a wide range of impairments (e.g., re-sampling, compression, additive noise), reliably demonstrating the state-of-the-art performance for all distortions with noticeable gains in predicting the subjective mean opinion score (MOS), compared with those point-wise distance-based metrics adopted in standardization reference software. Ablation studies have further shown that GraphSIM is generalized to various scenarios with consistent performance by examining its key modules and parameters.

연구 동기 및 목표

• 비정형이고 비균일한 기하학적 구조 및 중첩된 색상 왜곡을 가진 3D 포인트 클라우드에서 인간 인지에 정확히 반영되는 객관적 품질 평가 지표의 부족을 해결하기 위해.
• MPEG 표준에서 사용하는 포인트 단위 거리 지표(예: PSNR)의 한계를 극복하기 위해, 가장자리 및 고주파 성분에 대한 인지 감도를 모델링하지 못하는 문제를 해결하기 위해.
• 그래프 신호 처리 원리를 활용하여 기하학적 왜곡과 색상 왜곡을 동시에 평가하는 확장 가능하고 강력한 지표를 개발하기 위해.
• 포인트 수 변화에 관계없이 리샘플링, 압축, 노이즈 등의 다양한 왜곡에 대해 공정하고 일관된 품질 평가를 가능하게 하기 위해.
• 실제 포인트 클라우드 처리 파이프라인에 구현 가능한, 고정 또는 입력 기반 파rameter를 가진 시스템 友好的 지표를 제공하기 위해.

제안 방법

• 경계 포인트 클라우드를 리샘플링하여 에지 및 윤곽과 같은 고공역주파수 구조를 나타내는 기하학적 관건점을 추출한다.
• 유클리드 거리와 신호 유사도를 기반으로 한 가중치가 부여된 인접 행렬을 사용하여 각 관건점 중심에 국소 그래프를 구성한다.
• 정규화된 색상 값(RGB)을 사용하여 그래프 신호 특성을 정의하고, 각 그래프 내에서 국소 색상 기울기 모멘트(평균, 분산, 공분산)를 계산한다.
• 각 색상 채널에 대해 국소 그래프 내 모든 점의 색상 기울기 통계를 집계하여 국소 중요도 유사도 특징을 계산한다.
• 모든 그래프의 국소 중요도 특징을 풀링하고 색상 채널 간 평균을 내어 최종 유사도 지수를 생성한다.
• 기하학적 및 색상 기반 접근성의 조합을 고려한 수정된 그래프 가중치 함수를 사용하며, 신호 분포 및 경계 상자 정규화에 기반한 적응적 스케일링을 적용한다.

실험 결과

연구 질문

• RQ1 비정형 3D 포인트 클라우드에서 인간 시각 감도에 대한 구조적 및 색상 왜곡을 효과적으로 모델링하기 위해 그래프 신호 처리를 적용할 수 있는가?
• RQ2 GraphSIM의 성능는 다양한 포인트 클라우드 왜곡에 대해 표준 포인트 단위 지표(예: PSNR) 및 기존 최고 성능 지표와 비교해 볼 때 어떻게 되는가?
• RQ3 그래프 구축 시 기하학적 및 색상 속성을 동시에 통합함으로써 품질 평가의 강인성과 정확도가 얼마나 향상되는가?
• RQ4 GraphSIM은 압축, 리샘플링, 노이즈 등의 다양한 포인트 클라우드 콘텐츠 및 왜곡 유형에 대해 얼마나 일반화 가능한가?
• RQ5 그래프 유형, 신호 유형, 파rameter 조정 등의 핵심 설계 선택 사항이 최종 품질 예측 성능에 미치는 영향은 어떠한가?

주요 결과

• GraphSIM은 혼합 기하학적 및 색상 속성을 사용하여 SJTU-PCQA 데이터셋에서 PLCC 0.9417, SROCC 0.9213을 기록하며, 기하학적 속성 전용 및 색상 속성 전용 그래프 유형보다 유의미하게 뛰어난 성능을 보였다.
• 모든 다양한 왜곡에 대해 강건한 성능을 보이며, SJTU-PCQA 및 IPRC 데이터베이스 양쪽에서 PLCC > 0.93, SROCC > 0.92를 기록하여 주관적 MOS와 강력한 상관관계를 보였다.
• 기하학적 및 색상 속성을 모두 사용한 혼합 유형 그래프가 최고의 성능(PLCC: 0.9417, SROCC: 0.9213)을 기록하였으며, 기하학적 속성 전용 그래프가 색상 전용 또는 하이브리드 가중치 그래프보다 더 우수한 성능를 보였다.
• 제거 분석 결과, GraphSIM은 다양한 포인트 클라우드 콘텐츠 및 왜곡 유형에서 높은 성능를 유지하며, PSNR 및 MPEG 기준 소프트웨어 지표보다 일관된 성능 향상을 보였다.
• 모델의 성능는 다양한 파rameter 설정에서도 안정적이었으며, 관건점 추출 및 국소 그래프 구축과 같은 핵심 모듈이 인지 정확도에 크게 기여했다.
• 혼합 속성을 사용한 경우 'LongDress' 시퀀스에서 RMSE 0.7961을 기록하여, 기하학적 속성 전용( RMSE: 1.1399) 및 기타 구성보다 뛰어난 정확도를 입증했다.