[논문 리뷰] Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling

Wei Zhou, Qi Yang외 3명|arXiv (Cornell University)|2022. 08. 31.

Image and Video Quality Assessment인용 수 8

한 줄 요약

이 논문은 정규 벡터 기반 关건점 재표본화 및 영역 구축을 통해 기하학적 밀도, 색상 자연스러움, 각도 일관성 특징을 추출하는 구조 지도형 재표본화(Structured Guided Resampling, SGR)를 제안한다. 이는 3D 밀도 점군에 대한 블라인드/비참조 품질 평가 방법으로, 다양한 주관적 데이터베이스에서 최신 기술 수준의 성능을 달성하며, SVR 회귀를 사용할 경우 SJTU 데이터베이스에서 SROCC가 최대 0.91, PLCC가 최대 0.93에 이를 수 있다.

ABSTRACT

Objective quality assessment of 3D point clouds is essential for the development of immersive multimedia systems in real-world applications. Despite the success of perceptual quality evaluation for 2D images and videos, blind/no-reference metrics are still scarce for 3D point clouds with large-scale irregularly distributed 3D points. Therefore, in this paper, we propose an objective point cloud quality index with Structure Guided Resampling (SGR) to automatically evaluate the perceptually visual quality of 3D dense point clouds. The proposed SGR is a general-purpose blind quality assessment method without the assistance of any reference information. Specifically, considering that the human visual system (HVS) is highly sensitive to structure information, we first exploit the unique normal vectors of point clouds to execute regional pre-processing which consists of keypoint resampling and local region construction. Then, we extract three groups of quality-related features, including: 1) geometry density features; 2) color naturalness features; 3) angular consistency features. Both the cognitive peculiarities of the human brain and naturalness regularity are involved in the designed quality-aware features that can capture the most vital aspects of distorted 3D point clouds. Extensive experiments on several publicly available subjective point cloud quality databases validate that our proposed SGR can compete with state-of-the-art full-reference, reduced-reference, and no-reference quality assessment algorithms.

연구 동기 및 목표

• 3D 밀도 점군에 대한 일반적이고 해석 가능한 비참조(NR) 품질 평가 방법의 부족을 해결하기 위해.
• 3D 점군에서 인간 시각 시스템(HVS)의 구조적 정보에 대한 민감도를 모방하는 방법을 개발하기 위해.
• 참조 데이터가 필요 없이 기하학적 밀도, 색상 자연스러움, 각도 일관성 등의 인지적으로 관련된 특징을 추출하기 위해.
• 정규 벡터를 활용한 구조 지도형 재표본화의 효과를 검증하여 품질 예측 성능 향상에 기여함을 입증하기 위해.
• 공개된 주관적 데이터베이스에서 기존의 딥러닝 및 통계 기반 NR 모델에 비해 뛰어난 성능을 보여주기 위해.

제안 방법

• 정규 벡터를 사용해 지역 전처리를 수행하여 관건점을 식별하고 국소 영역을 구성함으로써 구조적 표현을 향상시킨다.
• 세 가지 유형의 품질 인식 특징을 추출한다: (1) 기하학적 밀도, (2) 색상 자연스러움, (3) 각도 일관성으로, HVS와 자연스러움 규칙성에 기반한다.
• 정규 벡터를 기반으로 한 관건점 재표본화를 통해 균일하고 구조에 민감한 표본화를 보장하며, 기하학적 또는 색상 기반 대안보다 뛰어난 성능을 보인다.
• 추출된 특징에서 품질 점수를 예측하기 위해 서포트 벡터 회귀(SVR)와 랜덤 포레스트 회귀(RFR)를 사용한다.
• 각 영역당 정규 벡터 수(참조 정규 벡터 수)는 실험적으로 최적화되었으며, 12가 가장 우수한 성능을 보였다.
• 이 방법은 참조 점군이 필요 없는 엔드 투 엔드 구조이며, 설명 가능하고 일반적인 목적을 가진 설계를 한다.

실험 결과

연구 질문

• RQ1 정규 벡터를 활용한 구조 지도형 재표본화가 3D 점군의 블라인드 품질 평가를 향상시킬 수 있는가?
• RQ2 기하학적 밀도, 색상 자연스러움, 각도 일관성 특징이 인지적 품질 예측에 어떻게 기여하는가?
• RQ3 제안된 방법이 다양한 주관적 데이터베이스에서 기존 최신 기술 수준의 NR 모델을 초월하는가?
• RQ4 특징 추출 및 성능에 최적화된 영역당 정규 벡터 수는 얼마인가?
• RQ5 참조 데이터 없이도 인간 평가 점수와 높은 상관관계를 달성할 수 있는가?

주요 결과

• SJTU 데이터베이스에서 SGR는 SVR를 사용해 SROCC 0.89, PLCC 0.93를 기록했으며, 최신 기술 수준의 PQA-Net(SROCC: 0.82, PLCC: 0.85)을 능가했다.
• IRPC 데이터베이스에서 SGR는 SROCC 0.68, PLCC 0.89를 기록했으며, PQA-Net(SROCC: 0.40, PLCC: 0.58)보다 뚜렷이 뛰어났다.
• 절단 분석 결과, 기하학적 밀도와 색상 자연스러움 특징을 조합하면 성능 향상(SROCC: 0.78)을 보였고, 각도 일관성까지 추가하면 최고 성능(SROCC: 0.89)을 기록했다.
• 정규 벡터 기반의 관건점 재표본화가 기하학적 또는 색상 기반 방법보다 뛰어나 SROCC 0.89 대비 0.85 및 0.86를 기록했다.
• 영역당 최적의 정규 벡터 수는 12로 확인되었으며, 이는 성능이 낮아지면서 수가 줄어들거나 늘어나는 경우(SROCC: 12일 때 0.89, 11, 13, 15 등에서 감소)에 확인되었다.
• M-PCCD, SJTU, IRPC를 포함한 여러 데이터베이스에서 강력한 일반화 성능을 보였으며, 이는 방법의 강건성과 효과성을 확인한다.