[논문 리뷰] MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment

Zicheng Zhang, Wei Sun외 5명|arXiv (Cornell University)|2022. 09. 01.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 3D 포인트 클라우드 서브모델과 2D 이미지 투영을 결합하여 기하학적 왜곡과 텍스처 왜곡을 함께 포착하는 다중모달 학습을 활용하는 새로운 비참조 포인트 클라우드 품질 평가 방법 MM-PCQA를 제안한다. 포인트 클라우드를 서브모델로 분할하여 국소 패턴을 유지하고, 포인트 기반 및 이미지 기반 인코더에서 유래한 특징을 융합하기 위해 대칭형 크로스모달 어텐션을 사용함으로써, MM-PCQA는 SJTU-PCQA, WPC, WPC2.0 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들보다 뚜렷하게 뛰어나다.

ABSTRACT

The visual quality of point clouds has been greatly emphasized since the ever-increasing 3D vision applications are expected to provide cost-effective and high-quality experiences for users. Looking back on the development of point cloud quality assessment (PCQA) methods, the visual quality is usually evaluated by utilizing single-modal information, i.e., either extracted from the 2D projections or 3D point cloud. The 2D projections contain rich texture and semantic information but are highly dependent on viewpoints, while the 3D point clouds are more sensitive to geometry distortions and invariant to viewpoints. Therefore, to leverage the advantages of both point cloud and projected image modalities, we propose a novel no-reference point cloud quality assessment (NR-PCQA) metric in a multi-modal fashion. In specific, we split the point clouds into sub-models to represent local geometry distortions such as point shift and down-sampling. Then we render the point clouds into 2D image projections for texture feature extraction. To achieve the goals, the sub-models and projected images are encoded with point-based and image-based neural networks. Finally, symmetric cross-modal attention is employed to fuse multi-modal quality-aware information. Experimental results show that our approach outperforms all compared state-of-the-art methods and is far ahead of previous NR-PCQA methods, which highlights the effectiveness of the proposed method. The code is available at https://github.com/zzc-1998/MM-PCQA.

연구 동기 및 목표

• 단일 모달 PCQA 방법이 3D 포인트 클라우드 또는 2D 투영에만 의존하는 한계를 해결하기 위해.
• 3D 기하학과 2D 텍스처 모달 간 상보적인 정보를 융합하여 비참조 포인트 클라우드 품질 평가를 향상시키기 위해.
• 포인트 샘플링 대신 서브모델 패치 기반 전략을 통해 시각적 품질에 핵심적인 국소 기하 패턴을 유지하기 위해.
• 다양한 모달 간 품질 인식 특징을 효과적으로 융합하기 위한 대칭형 크로스모달 어텐션 메커니즘을 개발하기 위해.
• 참조 포인트 클라우드가 필요 없이 벤치마크 PCQA 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 포인트 클라우드가 무작위 포인트 샘플링 대신 국소 기하 패턴(예: 포인트 이동, 다운샘플링)을 유지하기 위해 여러 서브모델으로 분할된다.
• 동일한 포인트 클라우드가 여러 고정된 시점에서 2D 투영으로 렌더링되어 텍스처 및 의미 정보를 캡처한다.
• 포인트 기반 인코더(예: PointNet++)가 3D 서브모델을 처리하고, 이미지 기반 인코더(예: ResNet50)가 2D 투영을 처리하여 품질 인식 특징을 추출한다.
• 3D 및 2D 모달 간 상호 의존성을 모델링하기 위해 대칭형 크로스모달 어텐션을 적용하여 교차 모달 표현 학습을 향상시킨다.
• 융합된 특징은 완전히 연결된 신경망 레이어를 통과하여 최종 품질 점수를 예측한다.
• 비참조 데이터셋에서 SRCC 및 PLCC와 같은 손실 함수를 사용하여 엔드 투 엔드로 프레임워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드 기하학과 2D 이미지 투영을 융합하면 단일 모달 접근 방식을 뛰어넘어 비참조 포인트 클라우드 품질 평가를 향상시킬 수 있는가?
• RQ2 서브모델 패치 기반 전략을 통해 국소 기하 패턴을 유지하면 표준 포인트 샘플링보다 품질 평가 성능이 향상되는가?
• RQ3 대칭형 크로스모달 어텐션은 3D 및 2D 모달 간 상보적인 품질 인식 특징을 융합하는 데 얼마나 효과적인가?
• RQ4 성능과 부정확성의 균형을 고려할 때 최적의 서브모델 수와 2D 투영 수는 얼마인가?
• RQ5 제안된 방법은 도메인 특화 미세조정 없이 다양한 PCQA 데이터베이스에 잘 일반화되는가?

주요 결과

• MM-PCQA는 WPC 데이터셋에서 최고의 SRCC 0.9103과 PLCC 0.9226를 기록하여 비교된 최신 기술 수준의 모든 방법들을 뚜렷이 앞서간다.
• 6개의 서브모델과 4개의 투영을 사용한 방법이 최고의 성능를 기록하여 특징의 풍부함과 중복성 간의 최적 균형을 이룬다.
• 서브모델 패치 전략은 가장 먼 점 샘플링 대비 성능 향상을 보였으며, 특히 국소 기하 패턴을 유지하는 데서 유의미한 개선을 보였다.
• PointNet++와 ResNet50를 인코더로 사용한 조합이 최고의 성능를 기록하였으며, WPC에서 SRCC 0.9103과 PLCC 0.9226를 달성하였다.
• 다른 데이터베이스 평가 결과, WPC에서 학습된 MM-PCQA는 SJTU-PCQA와 WPC2.0로의 일반화 능력이 뛰어나 WPC2.0에서 직접 학습된 모델들조차도 뛰어넘었다.
• 아블레이션 스터디 결과, 대칭형 크로스모달 어텐션과 다중모달 융합이 품질 평가 정확도를 크게 향상시킨다는 것이 확인되었다.