[논문 리뷰] Learning to Blindly Assess Image Quality in the Laboratory and Wild

Weixia Zhang, Kede Ma외 2명|arXiv (Cornell University)|2019. 07. 01.

Image and Video Quality Assessment참고 문헌 34인용 수 8

한 줄 요약

이 논문은 새로운 쌍별 학습-순위매기기 전략을 사용하여 다수의 IQA 데이터베이스에서 종합적으로 끝에서 끝까지 훈련된 통합된 블라인드 이미지 품질 평가(BIQA) 모델을 제안한다. 각 데이터베이스 내에서 이미지 쌍을 구성하고 인간 평가에서 유도된 연속적인 품질 표기치를 사용함으로써, 모델은 합성 및 현실적인 왜곡 상황 모두에서 최신 기술 수준의 성능을 달성하며, 품질 손실 최적화와 다중 데이터베이스 일반화를 통해 이전 방법들보다 크게 승승장구한다.

ABSTRACT

Computational models for blind image quality assessment (BIQA) are typically trained in well-controlled laboratory environments with limited generalizability to realistically distorted images. Similarly, BIQA models optimized for images captured in the wild cannot adequately handle synthetically distorted images. To face the cross-distortion-scenario challenge, we develop a BIQA model and an approach of training it on multiple IQA databases (of different distortion scenarios) simultaneously. A key step in our approach is to create and combine image pairs within individual databases as the training set, which effectively bypasses the issue of perceptual scale realignment. We compute a continuous quality annotation for each pair from the corresponding human opinions, indicating the probability of one image having better perceptual quality. We train a deep neural network for BIQA over the training set of massive image pairs by minimizing the fidelity loss. Experiments on six IQA databases demonstrate that the optimized model by the proposed training strategy is effective in blindly assessing image quality in the laboratory and wild, outperforming previous BIQA methods by a large margin.

연구 동기 및 목표

• 합성 왜곡과 현실적인 왜곡에서 훈련된 BIQA 모델 간의 일반화 갭을 해결하기 위해.
• 다양한 MOS 범위를 가진 다양한 IQA 데이터베이스 간의 인지적 척도 재조정이 필요 없도록 하기 위해.
• 실험실(합성) 및 와일드(실제) 왜곡 상황 모두에서 잘 작동하는 통합 BIQA 모델을 개발하기 위해.
• 모델에 종속되지 않고 확장 가능한 전략을 사용하여 동시에 여러 데이터베이스에서 종합적인 훈련을 가능하게 하기 위해.

제안 방법

• 각 개별 IQA 데이터베이스 내에서 이미지 쌍을 구성하여 통합된 훈련 세트를 형성함으로써, 인지적 척도 재조정이 필요 없도록 한다.
• 사람의 평가 차이(DMOS)를 기반으로 각 쌍에 대한 연속적인 품질 표기치를 계산하여, 한 이미지가 더 높은 인지적 품질을 가졌을 확률을 나타낸다.
• 예측된 연속적 품질 점수와 실제 점수 간의 차이를 최소화하는 품질 손실 함수를 사용하여 딥 네트워크를 훈련시킨다.
• 여섯 개인 IQA 데이터베이스(LIVE, CSIQ, TID2013, BID, LIVE Challenge, KonIQ-10K) 간의 공동 훈련 전략을 사용하여 다양한 왜곡 유형에 대한 강건성을 향상시킨다.
• 과적합을 방지하고 새로운 왜곡에 대한 일반화 능력을 향상시키기 위해 사전 훈련된 ImageNet 가중치를 활용한다.
• 쌍별 순위매기기 신호를 사용하여 종합적인 훈련을 최적화함으로써, 모델이 동시에 합성 및 현실적인 왜곡 패턴을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 합성 및 현실적인 이미지 왜곡 모두에서 별도의 재훈련 없이도 단일 BIQA 모델이 뛰어난 성능을 달성할 수 있는가?
• RQ2 불일치하는 인지적 척도를 가진 여러 IQA 데이터베이스를 효과적으로 통합하여 공동 훈련에 활용할 수 있는가?
• RQ3 쌍별 인간 평가에서 유도된 연속적인 품질 표기치를 사용할 경우, 절대 MOS나 이진 순위매기기 대비 일반화 능력 향상에 기여하는가?
• RQ4 품질 손실 함수가 인지적으로 일치하는 예측을 학습하는 데 있어 표준 크로스 엔트로피 손실 함수를 능가하는가?
• RQ5 다양한 왜곡을 포함한 여러 데이터베이스에서 공동 훈련을 수행할 경우, 개별 데이터베이스에서의 훈련보다 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 합성(LIVE, CSIQ, TID2013) 및 현실적(BID, LIVE Challenge, KonIQ-10K) 왜곡 세트를 포함한 테스트된 여섯 데이터베이스 전부에서 이전의 모든 BIQA 방법들을 능가한다.
• 원본 참조 없이 블라인드로 훈련되었음에도 불구하고, MS-SSIM 및 NLPD와 같은 전반적 기준 측정법과 유사한 성능을 달성한다.
• 품질 손실을 크로스 엔트로피 손실로 교체할 경우 합성 데이터베이스에서 성능이 크게 떨어지며, 연속적인 품질 감시의 우수성을 입증한다.
• 교차 데이터베이스 평가에서 새로운 왜곡 유형에 대해 효과적으로 일반화됨을 입증하였으며, TID2013과 LIVE Challenge에서 별도로 훈련된 DB-CNN조차도 이를 능가한다.
• 절단 분석 결과, MOS를 선형적으로 재조정하는 것은 노이즈를 유발하고 성능을 떨어뜨림을 확인하여, 제안된 쌍별 연속 표기 전략의 효과성을 입증한다.
• 다양한 왜곡을 포함한 여러 데이터베이스에서의 공동 훈련은 상호 정규화를 제공하여 네트워크가 더 나은 국소 최적점으로 향하게 하고 강건성을 향상시킨다.