[논문 리뷰] No-Reference Point Cloud Quality Assessment via Domain Adaptation

Qi Yang, Yipeng Liu외 3명|arXiv (Cornell University)|2021. 12. 06.

Infrared Thermography in Medicine인용 수 5

한 줄 요약

이 논문은 자연 이미지(소스 도메인)에서 3차원 포인트 클라우드(타겟 도메인)로 품질 인식 지식을 전이하기 위해 비지도 적대적 도메인 적응을 활용하는 no-reference 포인트 클라우드 품질 평가 방법인 IT-PCQA를 제안한다. 계층적 특징 인코더와 새로운 조건부 교차 엔트로피 손실을 갖춘 조건부 판별 네트워크를 사용함으로써, 대규모 레이블이 부여된 포인트 클라우드 데이터베이스가 없음에도 불구하고, 전체 참조 기반 메트릭과 비교할 수 있는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel no-reference quality assessment metric, the image transferred point cloud quality assessment (IT-PCQA), for 3D point clouds. For quality assessment, deep neural network (DNN) has shown compelling performance on no-reference metric design. However, the most challenging issue for no-reference PCQA is that we lack large-scale subjective databases to drive robust networks. Our motivation is that the human visual system (HVS) is the decision-maker regardless of the type of media for quality assessment. Leveraging the rich subjective scores of the natural images, we can quest the evaluation criteria of human perception via DNN and transfer the capability of prediction to 3D point clouds. In particular, we treat natural images as the source domain and point clouds as the target domain, and infer point cloud quality via unsupervised adversarial domain adaptation. To extract effective latent features and minimize the domain discrepancy, we propose a hierarchical feature encoder and a conditional-discriminative network. Considering that the ultimate purpose is regressing objective score, we introduce a novel conditional cross entropy loss in the conditional-discriminative network to penalize the negative samples which hinder the convergence of the quality regression network. Experimental results show that the proposed method can achieve higher performance than traditional no-reference metrics, even comparable results with full-reference metrics. The proposed method also suggests the feasibility of assessing the quality of specific media content without the expensive and cumbersome subjective evaluations. Code is available at https://github.com/Qi-Yangsjtu/IT-PCQA.

연구 동기 및 목표

• 강력한 no-reference 포인트 클라우드 품질 평가(PCQA) 모델을 훈련하기 위한 대규모 주관적 데이터베이스 부족 문제를 해결하기 위해.
• 성숙한 자연 이미지 품질 평가(IQA) 분야의 지식을 활용하여 인간 시각 시스템(HVS) 기반의 인식 지식을 3차원 포인트 클라우드로 전이하기 위해.
• 2D 이미지와 3D 포인트 클라우드 사이의 도메인 간 차이를 최소화하면서도 품질 회귀 성능을 유지하는 도메인 적응 프레임워크를 개발하기 위해.
• 참조 데이터가 이용 불가능한 실세계 응용 분야에서 포인트 클라우드의 정확한 품질 예측을 가능하게 하기 위해.
• 이미지에서의 전이 학습이 포인트 클라우드의 3차원 기하학적 및 속성 왜곡 패턴에 효과적으로 일반화될 수 있음을 입증하기 위해.

제안 방법

• 자연 이미지와 공유된 특징 학습을 가능하게 하기 위해, 6개의 수직 투영을 사용하여 3차원 포인트 클라우드를 다중 시점 2차원 이미지로 투영하기 위해.
• 이미지와 투영된 포인트 클라우드 양쪽에서 다중 척도 특징을 추출하기 위해 계층적 스queeze-and-excitation 컨volution 신경망(H-SCNN)을 설계하기 위해.
• 소스(이미지) 도메인과 타겟(포인트 클라우드) 도메인 간 특징 분포를 정렬하기 위해 조건부 판별 네트워크를 사용하는 비지도 적대적 도메인 적응 프레임워크를 구현하기 위해.
• 품질 회귀에 관련이 없는 특징을 억제하기 위해 새로운 조건부 교차 엔트로피 손실(CCEL)을 도입하여 수렴성과 예측 정확도를 향상시키기 위해.
• 품질 점수 예측을 위한 회귀 손실(L_R)과 도메인 간 차이를 줄이기 위한 도메인 적응 손실(MMD 및 적대적 손실)을 조합하여 손실 함수를 구성하기 위해.
• 훈련 및 검증 중 예측된 품질 점수와 주관적 품질 점수 간 상관관계를 평가하기 위해 SROCC를 평가 지표로 사용하기 위해.

실험 결과

연구 질문

• RQ1 대규모 자연 이미지 품질 평가 데이터베이스에서의 사전 지식을 레이블이 없는 포인트 클라우드 데이터 없이 3차원 포인트 클라우드 품질 평가로 효과적으로 전이할 수 있는가?
• RQ2 비지도 적대적 도메인 적응이 2D 이미지와 3D 포인트 클라우드 사이의 도메인 간 차이를 줄이는 데 품질 예측에 있어 얼마나 효과적인가?
• RQ3 제안된 조건부 교차 엔트로피 손실(CCEL)이 표준 적대적 손실 또는 MMD 기반 손실 대비 특징 품질과 회귀 성능을 향상시키는가?
• RQ4 단일 시점 투영 대비 다중 시점 이미지 투영이 포인트 클라우드 품질 평가에서 왜곡 패턴을 더 잘 포착하는가?
• RQ5 참조 포인트 클라우드에 접근할 수 없는 상황에서 no-reference PCQA 모델이 전체 참조 기반 메트릭과 비교해 어느 정도의 성능을 달성할 수 있는가?

주요 결과

• 제안된 IT-PCQA 모델은 TID2013에서 훈련된 후 WPC 데이터셋에서 PLCC 0.5491과 SROCC 0.5371을 기록하여 기준 모델들을 뛰어넘는 성능을 보였다.
• 다중 시점 투영(2D-2)은 단일 시점 입력(2D-1)보다 성능이 향상되었으며, WPC에서 PLCC가 0.3841에서 0.5491로 증가하였다.
• 조건부 교차 엔트로피 손실(CCEL)이 가장 우수한 전반적 성능을 기록하여, PLCC 0.5491과 SROCC 0.5371를 달성하였으며, L_R, L_T1, L_T2 등의 손실 변형보다 뛰어났다.
• CCEL로 훈련된 모델은 LIVE에서 WPC로의 벤치마크에서 PLCC 0.5791과 SROCC 0.6342를 기록하여 데이터셋 간 강력한 일반화 성능을 보였다.
• 계층적 특징 인코더(H-SCNN)는 다른 특징 생성기보다 뛰어난 성능을 보였으며, 도메인 적응을 위한 다중 척도 표현의 중요성을 입증하였다.
• 제거 분석 결과, 단순히 도메인 간 차이를 최소화하는 것(MMD 또는 표준 GAN 손실)만으로는 성능 향상이 이루어지지 않으며, 오히려 성능 저하를 초래할 수 있음을 확인하여, 작업에 특화된 손실 설계의 필요성을 강조하였다.