[논문 리뷰] Textured Mesh Quality Assessment: Large-Scale Dataset and Deep Learning-based Quality Metric

Yana Nehmé, Delanoy, Johanna외 4명|arXiv (Cornell University)|2022. 02. 04.

Image and Video Quality Assessment인용 수 6

한 줄 요약

이 논문은 55개의 소스 모델에서 유도된 343,000개의 압축된 질감이 있는 3D 메시로 구성된 대규모 데이터셋과, 시아메스 네트워크를 사용한 얕은 컨volution 네트워크(FCN) 기반의 딥러닝 기반 품질 측정법인 Graphics-LPIPS를 소개한다. 이 측정법은 렌더링된 이미지 패치를 비교하여 시각적 품질을 예측한다. 이 측정법은 질감이 있는 메시 및 정점 색상이 있는 메시 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 주관적 평가와 강한 상관관계를 보이고 다양한 왜곡 조합에 대해 뛰어난 내구성을 보였다.

ABSTRACT

Over the past decade, 3D graphics have become highly detailed to mimic the real world, exploding their size and complexity. Certain applications and device constraints necessitate their simplification and/or lossy compression, which can degrade their visual quality. Thus, to ensure the best Quality of Experience (QoE), it is important to evaluate the visual quality to accurately drive the compression and find the right compromise between visual quality and data size. In this work, we focus on subjective and objective quality assessment of textured 3D meshes. We first establish a large-scale dataset, which includes 55 source models quantitatively characterized in terms of geometric, color, and semantic complexity, and corrupted by combinations of 5 types of compression-based distortions applied on the geometry, texture mapping and texture image of the meshes. This dataset contains over 343k distorted stimuli. We propose an approach to select a challenging subset of 3000 stimuli for which we collected 148929 quality judgments from over 4500 participants in a large-scale crowdsourced subjective experiment. Leveraging our subject-rated dataset, a learning-based quality metric for 3D graphics was proposed. Our metric demonstrates state-of-the-art results on our dataset of textured meshes and on a dataset of distorted meshes with vertex colors. Finally, we present an application of our metric and dataset to explore the influence of distortion interactions and content characteristics on the perceived quality of compressed textured meshes.

연구 동기 및 목표

• 3D 질감 메시 품질 평가를 위한 대규모, 다양한 종류의, 주관적으로 대표되는 데이터셋의 부족을 해결하기 위해.
• 다양한 왜곡과 메시 특성에 일반화되는 딥러닝 기반의 객관적 품질 측정법을 개발하기 위해.
• 기하학적 양자화, 질감 압축, UV 매핑 열악화를 포함한 개별 및 병합된 왜곡의 주관적 영향을 조사하기 위해.
• 압축 인식 렲더링을 가능하게 하기 위해 품질 점수와 파일 크기를 연결함으로써 비율-왜곡 최적화를 가능하게 하기 위해.
• 미래의 3D 그래픽스 품질 평가 연구를 위한 공개 가능한 기준 데이터셋과 메트릭스를 제공하기 위해.

제안 방법

• 55개의 소스 모델에 대해 기하학적 양자화, 질감 압축, UV 매핑 양자화, 수준의 세부성 감소, 질감 서브샘플링의 다섯 가지 실세계 압축 기반 왜곡을 적용하여 총 343,000개의 왜곡된 질감 메시 자극을 생성하였다.
• 기하학적 복잡도(정점 수와 곡률), 색상 복잡도(질감 분산과 엔트로피), 의미 복잡도(객체 카테고리 및 시각적 주의 분포)의 세 가지 복잡도 측정치를 사용하여 소스 모델을 정량적으로 특성화하였다.
• 전체 품질 범위와 왜곡 조합을 모두 포함하도록 다양성 기반 샘플링 전략을 사용하여 3,000개의 도전적인 자극을 선별하였다.
• 4,500명 이상의 참가자가 참여한 대규모 커스터마이징 주관적 실험을 실시하여 총 148,929개의 품질 평가를 수집하여 기준 평균 평가 점수(MOS)를 생성하였다.
• Graphics-LPIPS를 제안하였으며, 이는 렌더링된 이미지 패치를 기반으로 참조 및 왜곡된 3D 메시의 품질을 평가하기 위해 미세조정된 AlexNet 특징과 학습된 선형 가중치를 사용하는 시아메스 네트워크를 기반으로 하는 CNN 기반 메트릭스이다.
• 주관적 데이터셋에서 엔드 투 엔드로 학습하여 평균 풀링을 통해 국소 패치 품질 점수를 종합하여 전반적인 품질 예측을 도출하였다.

실험 결과

연구 질문

• RQ1 기하학적, 질감, UV 매핑 왜곡의 다양한 조합이 질감이 있는 3D 메시의 주관적 시각적 품질에 어떤 영향을 미치는가?
• RQ2 기하학적 및 색상 복잡도는 왜곡 아티팩트의 가시성을 어떻게 가림 또는 증폭시키는가?
• RQ3 어느 왜곡 유형이 주관적 품질에 가장 큰 영향을 미치며, 그 왜곡들은 주관적으로 어떻게 상호작용하는가?
• RQ4 렌더링된 이미지 패치에서 학습된 딥러닝 메트릭스는 새로운 3D 메시 왜곡에 일반화되어 기존의 이미지 기반 메트릭스를 능가할 수 있는가?
• RQ5 3D 그래픽스의 비율-왜곡 최적화에서 주관적 품질을 효과적으로 모델링하고 최적화할 수 있는가?

주요 결과

• Graphics-LPIPS는 제안된 질감 메시 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 주관적 MOS 점수와 가장 높은 스피어만 순서상관관계(ρ = 0.93)를 보였다.
• 정점 색상 메시의 벤치마크 데이터셋에서도 최고의 성능을 기록하여, 이 메트릭스의 강건성과 일반화 능력을 확인하였다.
• 기하학적 양자화 아티팩트는 거친 메시에서 현저히 덜 눈에 띄었으며, 메시 복잡도와 왜곡 가시성 간의 강력한 주관적 상호작용을 시사하였다.
• JPEG를 사용한 질감 압축은 매우 낮은 품질 수준(QF=5 등)으로도 주관적 품질에 거의 영향을 주지 않아, 높은 주관적 내성성을 보였다.
• 균일한 질감을 가진 모델은 UV 매핑 양자화에 덜 민감했지만, 질감 실개수는 주관적 열화에 중요한 영향을 미쳤다.
• 색상과 기하학적 복잡도 모두 기하학적 왜곡의 가시성을 감추는 요소로 작용하여 고복잡도 영역에서 기하학적 왜곡의 인지 가능성 감소를 유도하였다.