[논문 리뷰] Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric

Zicheng Zhang, Wei Sun외 5명|arXiv (Cornell University)|2022. 08. 30.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 포인트 클라우드의 이동 카메라 영상 분석을 통해 시각적 품질을 평가하는 비기준(no-reference) 포인트 클라우드 품질 평가 방법을 제안한다. ResNet50와 SlowFast R50 모델을 사용해 공간(정적) 및 시간(동적) 품질 인식 특징을 추출함으로써, SJTU-PCQA에서 최대 SRCC 0.8611을 기록하며 기존의 비기준 접근 방식을 능가하고 전반적인 기준 방법과 맞먹는 성능을 달성한다.

ABSTRACT

Point cloud is one of the most widely used digital representation formats for three-dimensional (3D) contents, the visual quality of which may suffer from noise and geometric shift distortions during the production procedure as well as compression and downsampling distortions during the transmission process. To tackle the challenge of point cloud quality assessment (PCQA), many PCQA methods have been proposed to evaluate the visual quality levels of point clouds by assessing the rendered static 2D projections. Although such projection-based PCQA methods achieve competitive performance with the assistance of mature image quality assessment (IQA) methods, they neglect that the 3D model is also perceived in a dynamic viewing manner, where the viewpoint is continually changed according to the feedback of the rendering device. Therefore, in this paper, we evaluate the point clouds from moving camera videos and explore the way of dealing with PCQA tasks via using video quality assessment (VQA) methods. First, we generate the captured videos by rotating the camera around the point clouds through several circular pathways. Then we extract both spatial and temporal quality-aware features from the selected key frames and the video clips through using trainable 2D-CNN and pre-trained 3D-CNN models respectively. Finally, the visual quality of point clouds is represented by the video quality values. The experimental results reveal that the proposed method is effective for predicting the visual quality levels of the point clouds and even competitive with full-reference (FR) PCQA methods. The ablation studies further verify the rationality of the proposed framework and confirm the contributions made by the quality-aware features extracted via the dynamic viewing manner. The code is available at https://github.com/zzc-1998/VQA_PC.

연구 동기 및 목표

• 기존의 투영 기반 비기준 PCQA 방법이 정적 2차원 시야에만 의존하는 한계를 해결하기 위해.
• 이동 카메라를 시뮬레이션하는 동적 시각화 행동이 포인트 클라우드 품질 평가에 개선을 가져오는지 조사하기 위해.
• 비기준 PCQA 프레임워크를 개발하여 영상 품질 평가(VQA) 기반으로 포인트 클라우드의 공간적 및 시간적 왜곡을 모델링하기 위해.
• 다양한 동적 시야를 캡처하기 위해 다중 카메라 경로를 사용하는 것이 품질 예측 성능 향상에 기여하는지 검증하기 위해.
• 실제 구현에 적합한 고정밀도를 유지하면서도 계산 효율성을 확보하기 위해.

제안 방법

• 가상 카메라를 포인트 클라우드 주위의 네 개의 서로 다른 원형 경로를 따라 이동시켜 영상 시퀀스를 생성한다.
• 정적 왜곡(예: 노이즈, 기하학적 이동)을 포착하기 위해 훈련 가능한 2D-CNN(ResNet50)을 사용해 关건 프레임에서 공간 품질 특징을 추출한다.
• 운동 관련 아티팩트(예: 갑작스러운 시야 전환)를 모델링하기 위해 사전 훈련된 3D-CNN(SlowFast R50)을 사용해 영상 클립에서 시간 품질 특징을 추출한다.
• 최종 품질 점수는 공간적 및 시간적 특징의 융합을 통해 유도되며, 이로써 정적 및 동적 시각적 품질을 모두 평가할 수 있다.
• 원본 기준 포인트 클라우드가 필요 없이 주관적 품질 점수를 예측하기 위해 회귀 헤드를 사용해 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 주요 평가 지표로 SRCC와 PLCC를 사용해 세 가지 벤치마크 데이터셋(SJTU-PCQA, WPC, LSPCQA-I)에서 성능을 평가한다.

Figure 1: Illustration of human habits of observing point clouds via static and dynamic views. The static views focus on the single rendered images while the dynamic views focus on the frames (usually generated by rotation).

실험 결과

연구 질문

• RQ1 이동 카메라 영상 기반의 동적 시각화 행동을 모델링함으로써 정적 투영 기반 방법에 비해 비기준 포인트 클라우드 품질 평가 성능을 향상시킬 수 있는가?
• RQ2 영상 시퀀스에서 추출한 공간적 및 시간적 특징이 전체 품질 예측 성능에 어떤 기여를 하는가?
• RQ3 다양한 품질 관련 시각적 콘텐츠를 캡처하는 데 있어 각기 다른 카메라 경로의 상대적 기여도는 어떠한가?
• RQ4 기존의 비기준 및 전반적인 기준 PCQA 방법과 비교해 제안된 방법의 성능 및 효율성은 어떠한가?
• RQ5 제안된 VQA 기반 프레임워크는 원본 포인트 클라우드에 접근할 수 없음에도 불구하고 전반적인 기준 방법과 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 SJTU-PCQA 데이터셋에서 SRCC 0.8611과 PLCC 0.8702를 기록하며, 모든 기존 비기준 PCQA 방법을 능가한다.
• 전반적인 기준 PCQA 방법과 경쟁 가능한 성능을 달성함으로써, 동적 영상 기반 평가가 정적 투영 방식보다 더 효과적으로 인지 품질을 반영함을 시사한다.
• 절단 실험 결과, 공간적 및 시간적 특징 모두 필수적임을 확인하였으며, 시간 브랜치가 정적 전용 기반 모델 대비 성능 향상이著명하다.
• 모든 네 개의 카메라 경로를 사용한 모델(P7)이 가장 높은 성능을 기록하였고, 어느 하나의 경로를 제거해도 명백한 성능 저하가 발생함으로써, 다중 경로 영상 캡처의 가치를 입증한다.
• 영상 생성 시간을 포함하더라도 제안된 방법은 경쟁 가능한 계산 효율성을 유지하며, 포인트 클라우드당 평균 13.15초의 추론 시간을 기록하여 대부분의 모델 기반 PCQA 방법보다 빠르다.
• 경로 θ_A가 성능에 가장 큰 기여를 하며, 이는 θ_A를 제외한 P6 모델에서 성능이 가장 낮게 나타남으로써 확인되었고, 이는 경로별 왜곡 유형에 대한 민감도의 존재를 시사한다.

Figure 3: The framework of the proposed method, which includes the video capture process, the feature extraction module, and the feature regression module.