[논문 리뷰] Progressive Knowledge Transfer Based on Human Visual Perception Mechanism for Perceptual Quality Assessment of Point Clouds

Qi Liu, Yiyun Liu외 3명|arXiv (Cornell University)|2022. 11. 30.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 인간 시각 시스템(HVS)에 영감을 받은 점진적 지식 전이 프레임워크를 활용하여, 참조가 없는 점군의 인지적 품질 평가 모델인 PKT-PCQA를 제안한다. 공간 및 채널 주의 메커니즘을 그래프 스펙트럼 특징과 계층적 특징 융합과 통합함으로써, PKT-PCQA는 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기존의 參조가 없는 및 부분적 參조 방법을 능가하고 주관적 평가 점수와 상관관계에서 참조 기반 기준 모델과도 유사한 성능을 보였다.

ABSTRACT

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

연구 동기 및 목표

• 기존의 점군 품질 평가 방법이 인간 시각 시스템(HVS)의 특성을 모델링하지 못해 인지 예측이 정확하지 못하는 격차를 해결하기 위해.
• 원본(참조) 점군에 접근이 불필요한 參조가 없는 품질 평가 프레임워크를 개발하여, 더 넓은 실세계 적용을 가능하게 하기 위해.
• 선택적 주의 및 계층적 처리와 같은 HVS 기반 메커니즘을 통합하여, 객관적 모델 예측과 인간 주관적 평가 점수 간의 일치도를 향상시키기 위해.
• 粗미세 분류 지식을 정밀 예측으로 점진적으로 전이하는 전략을 설계하여, 모델의 일반화 능력과 정확도를 향상시키기 위해.

제안 방법

• 모델은 점군의 전반적인 기하학적 구조와 핵심 클러스터 정보를 캡처하기 위해 그래프 스펙트럼 기반 특징 추출 기법을 활용하여 계산 복잡도를 감소시킨다.
• 지역 및 전역 특징은 인간 시각 시스템의 다중 척도 수용장에 모방하는 계층적 아키텍처를 통해 융합되어 표현 학습 능력을 향상시킨다.
• 공간 주의 및 채널 주의의 이중 주의 메커니즘이 통합되어 중요한 특징을 동적으로 가중함으로써, 개선된 품질 예측을 위한 인간의 선택적 시각 주의를 모방한다.
• 점진적 지식 전이 전략이 구현되어, 거친 품질 분류 작업에서 정밀한 품질 회귀 작업으로 지식을 전이함으로써 모델의 일반화 능력을 향상시킨다.
• 객관적 점수와 주관적 MOS(Mean Opinion Score) 범위를 일치시키기 위해 스코어 스케일링을 위한 로지스틱 회귀를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 프레임워크는 표준 평가 지표인 PLCC 및 SROCC를 사용하여 세 가지 독립된 데이터셋(WPC, SJTU-PCQA, M-PCCD)에서 평가되었다.

실험 결과

연구 질문

• RQ1 인간 시각 인지 모델링을 통해 參조가 없는 점군 품질 평가 모델이 참조 기반 방법과 유사한 성능을 달성할 수 있는가?
• RQ2 공간 및 채널 주의 메커니즘을 통합함으로써 객관적 품질 점수와 인간 주관적 평가 간의 일치도는 어떻게 향상되는가?
• RQ3 거친 분류에서 정밀 예측으로의 점진적 지식 전이 전략이 인지적 품질 평가의 정확도 향상에 얼마나 기여하는가?
• RQ4 그래프 스펙트럼 기반 특징 추출 방법이 비정규적인 점군 데이터에서 국소 및 전역 기하학적 특징을 효과적으로 캡처할 수 있는가?
• RQ5 제안된 모델은 다양한 왜곡 수준과 점군 특성을 가진 다양한 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• WPC 데이터셋에서 PKT-PCQA는 PLCC 0.56과 SROCC 0.56을 기록하여, 모든 參조가 없는 및 부분적 參조 방법 중에서 가장 높은 성능을 보였으며, 최고의 참조 기반 방법인 IW-SSIMp에 비해 약간 낮은 성능을 보였다.
• SJTU-PCQA 데이터셋에서 PKT-PCQA는 PLCC 0.91과 SROCC 0.91을 기록하여, 다른 參조가 없는 모델보다 뚜렷이 뛰어나며 부분적 參조 기반의 PCM_RR 지표를 초월했다.
• M-PCCD 데이터셋에서 PKT-PCQA는 SROCC 0.91과 PLCC 0.93을 기록하여 다양한 점군 유형과 왜곡에 대한 강력한 일반화 능력을 입증했다.
• 모델의 성능는 최신 기술 수준의 參조가 없는 방법인 PQA-NET보다 뚜렷이 뛰어나며, WPC 데이터셋에서 PLCC 0.71과 SROCC 0.77를 기록한 것에 비해 유의미하게 향상되었다.
• 참조 데이터가 전혀 필요 없음에도 불구하고, 최고의 참조 기반 방법과 0.02~0.05 이내의 성능를 달성하여 근사 최신 기술 수준의 성능를 보였으며, 이는 모델의 강건성과 실용성을 입증한다.
• HVS 기반 주의 메커니즘과 점진적 지식 전이의 통합은 모든 데이터셋에서 주관적 MOS와의 상관관계가 높아짐으로써, 정확도 향상에 기여했음을 입증했다.