[논문 리뷰] GPA-Net:No-Reference Point Cloud Quality Assessment with Multi-task Graph Convolutional Network

Ziyu Shan, Qi Yang외 5명|arXiv (Cornell University)|2022. 10. 29.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 구조적이고 질감적인 교란을 포착할 수 있는 새로운 그래프 컨볼루션 커널(GPAConv)를 갖춘 다중 작업 그래프 컨volution 네트워크(GPA-Net)를 제안한다. 이는 무참조(point cloud) 품질 평가(NR-PCQA) 방법으로, 왜곡 유형과 정도 예측을 보조 과제로 통합하고, 좌표 정규화 모듈을 통해 이동, 스케일, 회전 불변성을 확보한다. 이로 인해 두 개의 독립된 데이터셋에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

With the rapid development of 3D vision, point cloud has become an increasingly popular 3D visual media content. Due to the irregular structure, point cloud has posed novel challenges to the related research, such as compression, transmission, rendering and quality assessment. In these latest researches, point cloud quality assessment (PCQA) has attracted wide attention due to its significant role in guiding practical applications, especially in many cases where the reference point cloud is unavailable. However, current no-reference metrics which based on prevalent deep neural network have apparent disadvantages. For example, to adapt to the irregular structure of point cloud, they require preprocessing such as voxelization and projection that introduce extra distortions, and the applied grid-kernel networks, such as Convolutional Neural Networks, fail to extract effective distortion-related features. Besides, they rarely consider the various distortion patterns and the philosophy that PCQA should exhibit shifting, scaling, and rotational invariance. In this paper, we propose a novel no-reference PCQA metric named the Graph convolutional PCQA network (GPA-Net). To extract effective features for PCQA, we propose a new graph convolution kernel, i.e., GPAConv, which attentively captures the perturbation of structure and texture. Then, we propose the multi-task framework consisting of one main task (quality regression) and two auxiliary tasks (distortion type and degree predictions). Finally, we propose a coordinate normalization module to stabilize the results of GPAConv under shift, scale and rotation transformations. Experimental results on two independent databases show that GPA-Net achieves the best performance compared to the state-of-the-art no-reference PCQA metrics, even better than some full-reference metrics in some cases.

연구 동기 및 목표

• 보간화나 투영과 같은 사전 처리에 의존하는 기존의 무참조 점군 품질 평가(NR-PCQA) 방법의 한계를 해결하기 위해.
• 격자 기반의 CNN의 한계를 극복하고, 비정규적인 점군 구조에서 왜곡 관련 특징을 효과적으로 포착할 수 있는 특징 추출 기법을 개발하기 위해.
• 품질, 왜곡 유형, 왜곡 정도의 공동 예측을 위한 다중 작업 학습을 통합하여 특징 표현을 향상시키기 위해.
• 현장 인식에 부합하는 이동, 스케일, 회전 불변성을 좌표 정규화 모듈을 통해 확보하기 위해.
• 참조 점군이 필요 없이 NR-PCQA 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 이웃하는 점들 간의 방향과 길이 유사도를 계산하여 구조적 및 질감적 교란을 포착할 수 있는 새로운 그래프 컨볼루션 커널인 GPAConv를 제안한다.
• 주 과제(품질 회귀)와 보조 과제 두 개(왜곡 유형 및 정도 예측)를 포함한 다중 작업 학습 프레임워크를 설계하여 특징 학습을 향상시킨다.
• 지역 기준 프레임(LRF)을 사용해 국소 좌표계를 재정렬함으로써, 회전, 스케일, 이동에 대해 불변성을 확보하는 좌표 정규화 모듈을 도입한다.
• t-SNE 시각화를 통해 GPA-Net의 특징 공간이 기존 베이스라인 대비 내용과 왜곡이 다른 점군을 더 잘 분리하는 것으로 확인한다.
• 각 패치를 독립적으로 처리하고 학습된 그래프 구조를 사용하여 국소 기하학을 유지하는 패치 기반 그래프 구축 전략을 적용한다.
• 최종 품질 예측을 위해 그래프 특징에 대해 최대 풀링을 적용한 후 완전 연결 층을 사용한다.

실험 결과

연구 질문

• RQ1 새로운 커널 설계를 가진 그래프 컨볼루션 네트워크가 사전 처리 없이 비정규적인 점군에서 왜곡 관련 특징을 효과적으로 추출할 수 있는가?
• RQ2 보조 과제(왜곡 유형 및 정도 예측)를 포함한 다중 작업 학습이 무참조 PCQA 성능을 향상시키는가?
• RQ3 LRF 기반의 좌표 정규화 모듈이 점군 품질 평가에서 회전, 스케일, 이동에 대해 강건성을 확보할 수 있는가?
• RQ4 독립된 벤치마크에서 GPA-Net은 SROCC 및 PLCC 측면에서 최신 기술 NR-PCQA 방법과 비교해 어떻게 성능을 내는가?
• RQ5 모델은 다양한 콘텐츠와 왜곡 패턴을 가진 점군으로 일반화되는 정도는 어느 정도인가?

주요 결과

• GPA-Net은 SJTU-PCQA 데이터셋에서 SROCC 0.886과 PLCC 0.886을 기록하여 모든 최신 기술 NR-PCQA 메트릭을 압도한다.
• TCG-PCQA 데이터셋에서 GPA-Net은 SROCC 0.875와 PLCC 0.886을 기록하여 독립된 벤치마크에서 일관된 우수성을 입증한다.
• 회전 불변성을 제거할 경우 GPA-Net의 성능은 크게 떨어지며, y축 기준 180° 회전 시 SROCC가 0.837로 하락함으로써 정규화 모듈의 효과를 입증한다.
• 국소 z축과 x축을 전역 y축과 z축으로 재정렬할 경우 성능이 가장 우수하며, SROCC 0.875와 PLCC 0.886를 기록함으로써 특징 안정성을 위한 최적의 축 정렬을 확인한다.
• t-SNE 시각화 결과, GPA-Net의 특징 공간이 다른 인코더 대비 'Redandblack'와 'Soldier'와 같은 서로 다른 콘텐츠를 가진 점군을 더 잘 분리하는 것으로 확인된다.
• 첫 번째 GPA 레이어의 최적 설정은 25,000개의 키포인트와 100개의 이웃을 사용하며, 패치 구축에서 커버리지와 오버랩 사이의 최적의 트레이드오프를 달성한다.