[논문 리뷰] RankIQA: Learning from Rankings for No-reference Image Quality Assessment

Xialei Liu, Joost van de Weijer외 1명|arXiv (Cornell University)|2017. 07. 26.

Image and Video Quality Assessment참고 문헌 49인용 수 27

한 줄 요약

RankIQA는 상대적 품질이 알려진 합성적으로 생성된 순위가 매겨진 이미지 쌍을 기반으로 사이라미스 네트워크를 훈련시켜 절대적 품질 예측을 위한 CNN에 지식을 전이하는 비참조 이미지 품질 평가 방법을 제안한다. 이 방법은 참조 이미지가 필요 없이 TID2013에서 최신 기준 성능을 5% 향상시키고, LIVE에서 전체 參照 IQA 방법을 뛰어넘는 성능을 달성한다.

ABSTRACT

We propose a no-reference image quality assessment (NR-IQA) approach that learns from rankings (RankIQA). To address the problem of limited IQA dataset size, we train a Siamese Network to rank images in terms of image quality by using synthetically generated distortions for which relative image quality is known. These ranked image sets can be automatically generated without laborious human labeling. We then use fine-tuning to transfer the knowledge represented in the trained Siamese Network to a traditional CNN that estimates absolute image quality from single images. We demonstrate how our approach can be made significantly more efficient than traditional Siamese Networks by forward propagating a batch of images through a single network and backpropagating gradients derived from all pairs of images in the batch. Experiments on the TID2013 benchmark show that we improve the state-of-the-art by over 5%. Furthermore, on the LIVE benchmark we show that our approach is superior to existing NR-IQA techniques and that we even outperform the state-of-the-art in full-reference IQA (FR-IQA) methods without having to resort to high-quality reference images to infer IQA.

연구 동기 및 목표

• 딥 컨볼루션 네트워크 훈련을 제한하는 대규모 인간 주석이 부여된 IQA 데이터셋의 부족 문제를 해결한다.
• 이미지 품질에 대한 인간 평가 점수(MOS) 수집의 높은 비용과 노동 집약적 성격을 완화한다.
• 합성적으로 생성된 이미지 순위를 활용하여 강건한 IQA 특징를 사전 훈련하는 방법을 개발한다.
• 희소 레이블 데이터에 대한 직접적 회귀 대신 순위 기반 사전 훈련을 통해 더 깊고 넓은 네트워크 훈련을 가능하게 한다.
• 참조 이미지에 접근할 수 없음에도 표준 IQA 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 합성적으로 왜곡된 이미지 쌍(품질 순위가 알려져 있음)을 사용하여 상대적 품질을 예측할 수 있도록 사이라미스 네트워크를 훈련시킨다.
• 청정 이미지에 다양한 강도의 왜곡을 적용하여 상대적 품질 순서가 확실히 알려진 대규모 순위 데이터셋을 생성한다.
• 사전 훈련된 사이라미스 네트워크의 지식을 피니튜닝을 통해 표준 CNN에 전이하여 절대적 품질 회귀를 수행한다.
• 모든 이미지 쌍을 한 번의 순방향 전파로 처리하고, 모든 쌍 비교에서 기울기를 계산하는 효율적인 역전파 방법을 도입한다.
• 사이라미스 네트워크의 임bedding 공간을 특징 추출기로 사용하고, LIVE 및 TID2013와 같은 실제 IQA 데이터셋에서 최종 회귀 헤드를 피니튜닝한다.
• Places2와 같은 비-IQA 데이터셋에서 훈련한 후 LIVE에서 피니튜닝하여 유사한 성능을 달성함으로써 이식 가능성(transferability)을 입증한다.

실험 결과

연구 질문

• RQ1 인간 주석이 부여된 품질 점수 대신 순위가 매겨진 이미지 쌍만을 사용하여 비참조 IQA를 위한 딥 러닝 모델이 최신 기준 성능을 달성할 수 있는가?
• RQ2 합성적으로 생성된 순위에서 학습한 지식이 다양한 왜곡 유형에 일반화되어 비참조 IQA의 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 사이라미스 네트워크를 위한 효율적인 역전파 방법이 기존 샘플링 전략보다 더 빠른 수렴과 향상된 성능을 이끌 수 있는가?
• RQ4 비-IQA 데이터셋(예: Places2)에서 사전 훈련한 모델이 피니튜닝을 거쳐도 IQA 벤치마크에서 높은 성능을 달성할 수 있는가?
• RQ5 참조 이미지가 없는 비참조 IQA 모델이 참조가 있는 IQA 방법을 능가할 수 있는가?

주요 결과

• TID2013 벤치마크에서 RankIQA+FT는 LCC와 SROCC 기준으로 최신 기준 성능을 5% 이상 향상시켰다.
• LIVE 데이터셋에서 RankIQA+FT는 모든 왜곡에 대해 LCC 0.981과 SROCC 0.980을 기록하여 기존의 비참조 IQA 및 최신 기준 참조 기반 IQA 방법인 DCNN을 능가했다.
• LIVE의 JPEG 왜곡 서브셋에서 SROCC 0.991과 LCC 0.994를 기록하여 도전적인 왜곡에서도 뛰어난 성능을 보였다.
• Places2 데이터셋에서 훈련한 RankIQA는 Waterloo에서 훈련한 모델와 거의 동일한 성능(SROCC: 0.980, LCC: 0.981)을 달성하여 IQA 전용 데이터에 의존하지 않음을 입증했다.
• 제안된 효율적인 역전파 방법은 표준 쌍 샘플링 및 하드 음성 마이닝보다 더 빠른 수렴과 낮은 손실을 달성했다.
• 순위 훈련 기간 동안 볼 수 없었던 왜곡 유형에도 잘 일반화되어 있으며, 다양한 왜곡 유형 간 공통된 품질 표현이 존재함을 시사한다.