[논문 리뷰] Blind Quality Assessment for in-the-Wild Images via Hierarchical Feature Fusion and Iterative Mixed Database Training

Wei Sun, Xiongkuo Min외 3명|arXiv (Cornell University)|2021. 05. 30.

Image and Video Quality Assessment참고 문헌 58인용 수 25

한 줄 요약

요약: 계단식 피처 융합 네트워크와 반복적 혼합 데이터베이스 학습을 사용하여 실제 환경 이미지에 대한 일반화를 개선하는 BIQA 모델을 제안한다.

ABSTRACT

Image quality assessment (IQA) is very important for both end-users and service providers since a high-quality image can significantly improve the user's quality of experience (QoE) and also benefit lots of computer vision algorithms. Most existing blind image quality assessment (BIQA) models were developed for synthetically distorted images, however, they perform poorly on in-the-wild images, which are widely existed in various practical applications. In this paper, we propose a novel BIQA model for in-the-wild images by addressing two critical problems in this field: how to learn better quality-aware feature representation, and how to solve the problem of insufficient training samples in terms of their content and distortion diversity. Considering that perceptual visual quality is affected by both low-level visual features (e.g. distortions) and high-level semantic information (e.g. content), we first propose a staircase structure to hierarchically integrate the features from intermediate layers into the final feature representation, which enables the model to make full use of visual information from low-level to high-level. Then an iterative mixed database training (IMDT) strategy is proposed to train the BIQA model on multiple databases simultaneously, so the model can benefit from the increase in both training samples and image content and distortion diversity and can learn a more general feature representation. Experimental results show that the proposed model outperforms other state-of-the-art BIQA models on six in-the-wild IQA databases by a large margin. Moreover, the proposed model shows an excellent performance in the cross-database evaluation experiments, which further demonstrates that the learned feature representation is robust to images with diverse distortions and content. The code is available at https://github.com/sunwei925/StairIQA.

연구 동기 및 목표

• 합성 왜곡으로 학습된 BIQA 모델이 실제 환경 이미지에서의 성능이 저하되는 간극을 해결한다.
• 저-중-고 레벨 특징을 결합한 품질 인식 표현을 학습한다.
• 다수의 IQA 데이터베이스를 통한 학습과 회귀 헤드 정렬로 제한된 학습 데이터를 완화한다.
• 교차 데이터베이스 및 여섯 개의 실제 환경 평가를 통해 견고성과 일반화를 보여준다.

제안 방법

• 중간 CNN 계층의 특징을 계층적으로 융합하여 품질 인식 표현을 형성하는 계단식 네트워크를 도입한다.
• 융합 전 각 스테이지 간 특징 맵 크기를 맞추기 위해 병목 모듈을 적용한다.
• 스테이지 간 특징을 점진적으로 융합하여 그래디언트 흐름과 의미 정보를 보존한다(식 4 및 5가 융합 과정을 설명한다).
• 각 대상 데이터베이스에 대해 데이터베이스 특이적 품질 공간으로 특징을 매핑하는 개별 이미지 품질 회귀기를 부착한다.
• 공유 특성 추출기를 두고 여러 IQA 데이터베이스를 번갈아 최적화하는 반복적 혼합 데이터베이스 학습(IMDT) 전략으로 학습한다(알고리즘 1).
• 예측된 MOS와 실제 MOS 간의 유클리드 손실(Euclidean loss)로 최적화한다(식 6).

실험 결과

연구 질문

• RQ1 중간 레벨 특징의 계층적 융합이 실제로 왜곡된 이미지에서 BIQA 성능을 향상시키는가?
• RQ2 별도 회귀기를 사용한 다중 IQA 데이터베이스 학습이 단일 데이터베이스 학습보다 일반화를 더 잘 이끌어내는가?
• RQ3 IMDT가 특징의 보편성 및 교차 데이터베이스 강건성에 어떤 영향을 미치는가?
• RQ4 인-더-와일드 데이터셋에서 계단식 융합이 기존 백본 대비 BIQA 성능 향상을 가져오는가?

주요 결과

• 제안된 모델은 여섯 개의 인-더-와일드 IQA 데이터베이스에서 최첨단 성능을 달성한다.
• 교차 데이터베이스 평가에서 학습된 품질 인식 특징의 일반화가 견고함을 보인다.
• 계층적 특징 융합(계단식 네트워크)이 품질 평가를 위한 저-중-고 레벨 정보를 더 잘 포착한다.
• IMDT는 다수의 데이터베이스를 회귀기별로 학습시키며 학습 샘플 다양성을 증가시키고 특징 일반화를 개선한다.
• 여섯 개의 인-더-와일드 데이터셋에서 제안된 방법이 경쟁 BIQA 모델들보다 큰 차이로 우수한 성능을 보인다.
• StairIQA 코드가 프로젝트 저장소에 공개되었다.