[논문 리뷰] MCL-3D: a database for stereoscopic image quality assessment using 2D-image-plus-depth source

Rui Song, Hyunsuk Ko외 1명|arXiv (Cornell University)|2014. 03. 23.

Image and Video Quality Assessment참고 문헌 21인용 수 62

한 줄 요약

이 논문은 깊이 영상 기반 렌더링(DIBR)을 사용하여 2D 이미지와 깊이 맵에서 생성한 공개적인 스테레오 심상 품질 평가 데이터베이스인 MCL-3D를 소개한다. 다양한 왜곡—예를 들어 블러, 노이즈, 압축, 렌더링 오류 등—에 대해 2D 및 3D 심상 품질 측도를 평가하여 기존의 객관적 측도가 3D 콘텐츠의 인지적 품질을 예측하는 데 아직 한계가 있음을 입증한다.

ABSTRACT

A new stereoscopic image quality assessment database rendered using the 2D-image-plus-depth source, called MCL-3D, is described and the performance benchmarking of several known 2D and 3D image quality metrics using the MCL-3D database is presented in this work. Nine image-plus-depth sources are first selected, and a depth image-based rendering (DIBR) technique is used to render stereoscopic image pairs. Distortions applied to either the texture image or the depth image before stereoscopic image rendering include: Gaussian blur, additive white noise, down-sampling blur, JPEG and JPEG-2000 (JP2K) compression and transmission error. Furthermore, the distortion caused by imperfect rendering is also examined. The MCL-3D database contains 693 stereoscopic image pairs, where one third of them are of resolution 1024x728 and two thirds are of resolution 1920x1080. The pair-wise comparison was adopted in the subjective test for user friendliness, and the Mean Opinion Score (MOS) can be computed accordingly. Finally, we evaluate the performance of several 2D and 3D image quality metrics applied to MCL-3D. All texture images, depth images, rendered image pairs in MCL-3D and their MOS values obtained in the subjective test are available to the public (http://mcl.usc.edu/mcl-3d-database/) for future research and development.

연구 동기 및 목표

• 2D 이미지와 깊이 맵을 원천 자료로 사용하여 종합적인 스테레오 심상 품질 평가 데이터베이스를 개발하는 것.
• 텍스처 및 깊이 맵에 영향을 주는 다양한 왜곡에 대해 기존 2D 및 3D 심상 품질 측도의 성능을 평가하는 것.
• 향후 3D 심상 품질 평가 분야의 연구를 위해 공개 가능한 자원을 제공하는 것.
• 비대칭 왜곡 및 렌더링 불완전성의 영향이 인지적 3D 심상 품질에 미치는 영향을 조사하는 것.
• 현재의 객관적 품질 측도가 3D 콘텐츠의 인간 인지 인식을 예측하는 데 가지는 한계를 벤치마킹하는 것.

제안 방법

• 스테레오 렌더링에 사용할 9개의 2D 텍스처 이미지와 해당 깊이 맵을 선택하였다.
• 깊이 영상 기반 렌더링(DIBR)을 사용하여 2D+깊이 입력에서 좌우 스테레오 뷰를 생성하였다.
• 렌더링 이전에 텍스처 이미지 또는 깊이 맵에 별도로 적용된 다수의 왜곡 유형을 적용하였다: 가우시안 블러, 가우시안 노이즈, 다운샘플링 블러, JPEG, JPEG-2000(JP2K) 압축, 전송 오류.
• 불완전한 렌더링 효과도 왜곡 원천으로 포함하여 실제 렌더링 오류를 시뮬레이션하였다.
• 사용자 우호성과 신뢰성을 확보하기 위해 쌍별 주관적 테스트 방법을 사용하여 평균 의견 점수(MOS)를 수집하였다.
• MOS 값과의 상관관계를 평가하기 위해 PCC, SROCC, MSE를 사용하여 14개의 2D 및 3D 심상 품질 측도의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 텍스처 또는 깊이 맵에 적용된 다양한 왜곡 유형이 스테레오 심상의 인지적 품질에 어떤 영향을 미치는가?
• RQ2 기존의 2D 및 3D 심상 품질 측도가 MCL-3D 데이터베이스에서 인간의 주관적 인식과 얼마나 상관관계가 있는가?
• RQ3 3D 전용 품질 측도의 성능이 3D 심상 품질 평가 벤치마크에서 2D 측도와 비교하여 어떻게 되는가?
• RQ4 비대칭 왜곡 및 렌더링 불완전성이 스테레오 심상 쌍의 인지적 품질에 어떤 영향을 미치는가?
• RQ5 MCL-3D 데이터베이스는 새로운 객관적 3D 심상 품질 평가 모델 개발 및 검증을 위한 신뢰할 수 있는 기준으로 기능할 수 있는가?

주요 결과

• MCL-3D 데이터베이스는 총 693개의 스테레오 심상 쌍을 포함하며, 1/3은 1024×728 해상도, 2/3은 1920×1080 해상도이다.
• 텍스처 또는 깊이 이미지에 적용된 왜곡이 포함되어 있으며, 예를 들어 가우시안 블러, 가우시안 노이즈, 다운샘플링 블러, JPEG, JP2K 압축, 전송 오류 등이 있다.
• MCL-3D에서 가장 높은 성능을 보인 2D 측도는 PSNR_HVS로, PCC는 0.8783, SROCC는 0.8857이었다.
• 3D 전용 측도 중에서 Method D(구조적 왜곡 파라미터 기반)는 MCL-3D에서 PCC 0.8910, SROCC 0.8880을 기록했지만, 높은 MSE(6.8870)를 보여 일관성 부족을 시사했다.
• 기존의 3D 품질 측도 중에서 2D 측도를 뛰어넘는 성능을 보이는 것은 없었으며, Method C(SSI 기반 확장)는 다양한 데이터베이스에서 강력한 성능(PCC: 0.8683, SROCC: 0.8690)을 보였다.
• 결과적으로, 비대칭적이고 복잡한 왜곡에 대해 강건하고 일반화 가능한 객관적 3D 심상 품질 측도 설계는 여전히 열려 있는 과제임을 시사한다.