[논문 리뷰] DeepFL-IQA: Weak Supervision for Deep IQA Feature Learning

Hanhe Lin, Vlad Hosu외 1명|arXiv (Cornell University)|2020. 01. 20.

Advanced Image Processing Techniques참고 문헌 60인용 수 31

한 줄 요약

DeepFL-IQA는 대규모 합성 데이터셋(KADIS-700k)을 사용하여 약지도 슈퍼바이즈드 딥 IQA 특징 학습을 제안하고, 다중 작업 FR-IQA 점수 예측을 통해 소규모 주관적 IQA 데이터베이스에서 MLSP 기반 NR-IQA 회귀를 수행한다.

ABSTRACT

Multi-level deep-features have been driving state-of-the-art methods for aesthetics and image quality assessment (IQA). However, most IQA benchmarks are comprised of artificially distorted images, for which features derived from ImageNet under-perform. We propose a new IQA dataset and a weakly supervised feature learning approach to train features more suitable for IQA of artificially distorted images. The dataset, KADIS-700k, is far more extensive than similar works, consisting of 140,000 pristine images, 25 distortions types, totaling 700k distorted versions. Our weakly supervised feature learning is designed as a multi-task learning type training, using eleven existing full-reference IQA metrics as proxies for differential mean opinion scores. We also introduce a benchmark database, KADID-10k, of artificially degraded images, each subjectively annotated by 30 crowd workers. We make use of our derived image feature vectors for (no-reference) image quality assessment by training and testing a shallow regression network on this database and five other benchmark IQA databases. Our method, termed DeepFL-IQA, performs better than other feature-based no-reference IQA methods and also better than all tested full-reference IQA methods on KADID-10k. For the other five benchmark IQA databases, DeepFL-IQA matches the performance of the best existing end-to-end deep learning-based methods on average.

연구 동기 및 목표

• 140k pristine 이미지와 700k distorted 이미지 및 11 FR-IQA 점수를 대체 지표로 사용하는 대규모 합성 데이터셋 KADIS-700k를 소개한다.
• 81 pristine 이미지와 10,125 distorted 이미지를 포함하고 크라우드소싱 MOS/DMOS를 제공하는 KADID-10k를 생성한다.
• FR-IQA 점수를 예측하기 위한 다중 작업 학습을 활용하는 약하게 감독된 딥 IQA 특징 학습 파이프라인(DeepFL-IQA)을 개발한다.
• MLSP 특징을 미세조정된 CNN에서 추출하고 벤치마크 데이터베이스에서 NR-IQA를 위한 작고 간단한 회귀 네트워크를 훈련한다.

제안 방법

• KADIS-700k에서 11개의 FR-IQA 점수를 다중 작업 헤드를 통해 예측하도록 InceptionResNetV2 백본을 학습한다.
• MTL 중 FR-IQA 점수 분포를 각 작업 간에 균형화하기 위해 히스토그램 평활화를 사용한다.
• 미세조정된 네트워크에서 Multi-Level Spatially Pooled (MLSP) 특징을 추출한다.
• MLSP 특징에 대해 주관적 품질 점수로 매핑하기 위해 얕은 회귀 네트워크를 IQA 데이터베이스에서 훈련한다.
• 드롭아웃을 포함한 4개의 FC 계층(2,048 → 1,024 → 256 → 1)으로 구성된 새로운 회귀 아키텍처를 적용한다.
• KADID-10k 및 다섯 벤치마크 데이터베이스에서 기존 FR-IQA 및 NR-IQA 방법과의 비교로 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 FR-IQA 프록시를 이용한 약하게 감독 학습이 인공적으로 왜곡된 이미지에서 NR-IQA 성능을 향상시킬 수 있는가?
• RQ2 미세조정된 CNN의 MLSP 특징이 여러 벤치마크 데이터베이스에서 강건한 NR-IQA 예측을 제공하는가?
• RQ3 FR-IQA 점수 분포의 히스토그램 평활화가 다중 작업 학습의 안정성과 성능에 이로운가?
• RQ4 DeepFL-IQA가 KADID-10k 및 기타 IQA 데이터셋에서 최첨단 FR-IQA 및 NR-IQA 방법과 비교하여 어떤가?

주요 결과

• DeepFL-IQA는 KADID-10k에서 다른 특징 기반 무참조 IQA 방법들보다 우수한 성능을 보인다.
• 다섯 개의 벤치마크 IQA 데이터베이스에서 DeepFL-IQA는 평균적으로 최상의 엔드-투-엔드 딥 러닝 기반 방법과 일치한다.
• KADIS-700k 데이터셋은 140k pristine 및 700k distorted 이미지와 11개의 FR-IQA 점수로 확장 가능한 플랫폼을 제공한다.
• MLSP 기반 NR-IQA 회귀는 작고 간단한 회귀 네트워크로도 경쟁력 있는 성능을 보인다.
• HE-정규화된 다중 작업 FR-IQA 감독은 학습 중 수렴 및 균형을 개선한다.