[논문 리뷰] Blind Omnidirectional Image Quality Assessment with Viewport Oriented Graph Convolutional Networks

Jiahua Xu, Wei Zhou외 1명|arXiv (Cornell University)|2020. 02. 21.

Image and Video Quality Assessment참고 문헌 71인용 수 10

한 줄 요약

이 논문은 시각적 시야각( viewport ) 기반 그래프 컨volution 네트워크(VGCN)를 제안하여 빌드 옴니디렉셔널 이미지 품질 평가(OIQA)를 수행한다. 인간 시각 시스템(HVS)의 행동을 시야각 간 상호작용을 캡처하는 공간 그래프를 통해 모델링하고, 전역 품질 평가를 통합한다. 이 방법은 두 개의 공개 OIQA 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 기존의 전반 참조 및 비참조 측정 지표를 능가한다.

ABSTRACT

Quality assessment of omnidirectional images has become increasingly urgent due to the rapid growth of virtual reality applications. Different from traditional 2D images and videos, omnidirectional contents can provide consumers with freely changeable viewports and a larger field of view covering the $360^{\circ} imes180^{\circ}$ spherical surface, which makes the objective quality assessment of omnidirectional images more challenging. In this paper, motivated by the characteristics of the human vision system (HVS) and the viewing process of omnidirectional contents, we propose a novel Viewport oriented Graph Convolution Network (VGCN) for blind omnidirectional image quality assessment (IQA). Generally, observers tend to give the subjective rating of a 360-degree image after passing and aggregating different viewports information when browsing the spherical scenery. Therefore, in order to model the mutual dependency of viewports in the omnidirectional image, we build a spatial viewport graph. Specifically, the graph nodes are first defined with selected viewports with higher probabilities to be seen, which is inspired by the HVS that human beings are more sensitive to structural information. Then, these nodes are connected by spatial relations to capture interactions among them. Finally, reasoning on the proposed graph is performed via graph convolutional networks. Moreover, we simultaneously obtain global quality using the entire omnidirectional image without viewport sampling to boost the performance according to the viewing experience. Experimental results demonstrate that our proposed model outperforms state-of-the-art full-reference and no-reference IQA metrics on two public omnidirectional IQA databases.

연구 동기 및 목표

• 실제 VR 응용 프로그램에서 參照 이미지가 없는 상황에서 빌드 옴니디렉셔널 이미지 품질 평가(OIQA)의 과제를 해결하기 위해.
• 관찰자가 국소적 시야각 품질을 통합하고 전역적 품질 인식을 재구성하는 인간 시각 시스템(HVS)의 시각 행동을 모델링하기 위해.
• 그래프 컨volution 네트워크(GCNs)를 사용하여 시야각 간 상호의존성을 캡처함으로써 품질 예측을 향상시키기 위해.
• 지역(시야각 수준)과 전역(전체 이미지 수준) 품질 평가 브랜치를 통합함으로써 성능을 향상시키기 위해.
• 다양한 왜곡 유형으로 일반화 가능한 일반 목적의 왜곡 무관 OIQA 프레임워크를 개발하기 위해.

제안 방법

• HVS가 구조적 정보에 대한 민감도에 기반하여 고확률 시야각을 노드로 하는 공간 시야각 그래프를 구성한다.
• 시야각 간 상호작용을 모델링하기 위해 공간적 관계(예: 각도적 근접성)를 기반으로 간선을 정의한다.
• 시야각 그래프를 추론하기 위해 그래프 컨볼루션 네트워크(GCNs)를 적용하여 국소 품질 특징을 집계하고 의존성을 캡처한다.
• CNN 기반 아키텍처를 사용하여 선택된 각 시야각에서 분별적 특징을 추출하는 시야각 기술자(descriptor)를 적용한다.
• 지역 브랜치는 GCN를 통해 시야각 품질을 집계하고, 전역 브랜치는 시야각 샘플링 없이 전체 옴니디렉셔널 이미지를 사용하여 품질을 추정한다.
• 채널 주의 메커니즘과 위도 기반 요소를 활용하여 시야각 특징에 대한 콘텐츠 기반 및 위치 기반 가중치를 적용하여 품질 집계를 정밀화한다.

실험 결과

연구 질문

• RQ1 옴니디렉셔널 이미지 품질 평가에서 인간 시각 시스템의 시야각 기반 브라우징 및 품질 통합 과정을 어떻게 모델링할 수 있는가?
• RQ2 그래프 컨볼루션 네트워크(GCNs)는 시야각 간 상호의존성을 효과적으로 캡처하여 빌드 OIQA 성능을 향상시킬 수 있는가?
• RQ3 지역 시야각 분석과 함께 전역 품질 평가를 통합하면 전체 인지적 품질 예측 성능이 향상되는가?
• RQ4 콘텐츠 인식 및 위치 인식 가중 전략은 시야각 품질 집계 성능에 어떤 영향을 미치는가?
• RQ5 제안된 VGCN 프레임워크는 옴니디렉셔널 이미지의 다양한 왜곡 유형으로 일반화될 수 있는가?

주요 결과

• VGCN 모델은 OIQA 데이터베이스에서 PLCC 0.9584, SROCC 0.9515를 기록하였고, CVIQD 데이터베이스에서는 PLCC 0.9651, SROCC 0.9639를 달성하여 최신 기술(SOTA)을 초월한다.
• 시야각 품질 집계에 그래프 컨볼루션 네트워크를 적용함으로써 성능 향상이著명하게 이루어졌으며, 완전히 연결된 기반 모델 대비 RMSE가 OIQA에서 0.5967, CVIQD에서 3.6573으로 감소하였다.
• 전역 품질 평가 브랜치는 지역 전용 브랜치보다 성능을 향상시키며, OIQA에서 RMSE는 0.6340에서 0.5967로, CVIQD에서 3.9220에서 3.6573으로 감소하였다.
• 콘텐츠 및 위치 가중치는 성능 향상에 중간 정도의 기여를 하였지만, GCN 기반 집계가 가장 큰 성능 향상을 보였으며, 시야각 간 상호작용을 모델링하는 것이 중요함을 입증한다.
• 시각화 결과는 VGCN이 고왜곡 영역(예: 노이즈 또는 블러로 인한 매끄러운 영역)을 정확히 식별하고, 이에 따라 낮은 품질 점수를 할당함을 확인하였다.
• 모델는 JPEG 아티팩트와 화이트 노이즈와 같은 왜곡 유형을 효과적으로 구분하며, 무늬 영역에서의 인지적 마스킹을 반영한 품질 점수를 제공한다.