[논문 리뷰] KonIQ-10k: Towards an ecologically valid and large-scale IQA database

Hanhe Lin, Vlad Hosu외 1명|arXiv (Cornell University)|2018. 03. 22.

Image and Video Quality Assessment참고 문헌 12인용 수 59

한 줄 요약

이 논문은 KonIQ-10k를 제시하는데, 10,073장의 이미지와 120만 명 크라우드 평가 품질 점수로, 야생에서의 무작위 이미지 품질 평가를 개선하도록 설계된 대규모 생태학적으로 타당한 IQA 데이터베이스이다.

ABSTRACT

The main challenge in applying state-of-the-art deep learning methods to predict image quality in-the-wild is the relatively small size of existing quality scored datasets. The reason for the lack of larger datasets is the massive resources required in generating diverse and publishable content. We present a new systematic and scalable approach to create large-scale, authentic and diverse image datasets for Image Quality Assessment (IQA). We show how we built an IQA database, KonIQ-10k, consisting of 10,073 images, on which we performed very large scale crowdsourcing experiments in order to obtain reliable quality ratings from 1,467 crowd workers (1.2 million ratings). We argue for its ecological validity by analyzing the diversity of the dataset, by comparing it to state-of-the-art IQA databases, and by checking the reliability of our user studies.

연구 동기 및 목표

• 실세계 인터넷 사진을 대표하는 대규모의 authentic IQA 데이터베이스를 구축한다.
• 대규모 이미지 컬렉션에서 확장 가능한 샘플링을 통해 콘텐츠 및 왜곡의 다양성을 보장한다.
• 크라우드소싱을 통해 신뢰할 수 있는 주관적 품질 점수를 얻고 전문가 평가와의 신뢰성을 검증한다.
• 데이터셋의 크기가 모델 성능에 미치는 영향을 강조하며 기존 NR-IQA 방법을 벤치마킹해 데이터셋의 가치를 입증한다.

제안 방법

• 7가지 품질 지표와 하나의 콘텐츠 지표 plus 머신 태그를 사용해 약 4.8M YFCC100m 항목에서 10,073장을 샘플링한다.
• MILP 기반 최적화와 지표당 200-빈 discretization을 통해 지표 간 균일한 표본화를 수행한다.
• 다양성 확보를 위한 4096차원 VGG-16 FC7 피처를 이용한 딥피처 기반 콘텐츠 샘플링.
• 1,467명의 작업자를 대상으로 크라우드소싱을 통해 이미지당 120개의 평가를 얻고, 전문가 기반 검증을 수행한다.
• 전세계 MOS와의 합의 여부를 확인하는 테스트 문제를 통한 품질 관리와 중복 데이터 또는 저품질 데이터를 제거한다.
• KonIQ-10k, LIVE In the Wild, 및 TID2013에서 NR-IQA 방법의 SROCC 및 PLCC를 평가한다.

실험 결과

연구 질문

• RQ1 실세계 콘텐츠와 왜곡을 포착하는 대규모 생태학적으로 타당한 IQA 데이터베이스를 어떻게 구축할 수 있을까?
• RQ2 콘텐츠 및 왜곡 다양성을 대규모에서 보장하기 위한 샘플링 전략은 무엇인가?
• RQ3 적절히 선별된 경우 크라우드MOS가 높은 품질의 주관적 점수에 대해 신뢰할 수 있는가?
• RQ4 자연 이미지 기반 데이터셋에서 기존 NR-IQA 방법은 인공 왜곡 데이터셋과 비교해 성능이 다르게 나타나는가?
• RQ5 데이터셋의 크기가 블라인드 IQA 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• KonIQ-10k는 1,467명의 작업자로부터 1.2백만 건의 크라우드 평가를 포함한다.
• 크라우드 MOS는 전문가 평가와 100점 척도에서 RMSE 11.35의 차이를 보이며, 이미지의 73%가 전문가와 일치하는 오차 한계 내에 있다.
• 제안된 샘플링은 이전 데이터베이스보다 밝기, 색다름, 대비, 선명도 및 콘텐츠 분포에서 더 큰 다양성을 제공한다.
• NR-IQA 방법은 KonIQ-10k와 LIVE In the Wild에서 TID2013보다 더 강한 상관을 보이며, 데이터셋 규모와 자연 콘텐츠가 성능에 미치는 영향을 강조한다.
• 더 큰 학습 데이터는 IQA 모델의 성능을 향상시키며, KonIQ-10k에서 더 나은 NR-IQA 예측으로 확인된다.
• NR-IQA 방법의 성능 표는 KonIQ-10k가 일부 기준에서 더 높은 SROCC/PLCC를 달성하는 것을 보여준다.