[논문 리뷰] Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

Kwan-Yee Lin, Guanxiang Wang|arXiv (Cornell University)|2018. 04. 05.

Image and Video Quality Assessment참고 문헌 35인용 수 34

한 줄 요약

이 논문은 품질 인식 생성 네트워크를 사용해 왜곡된 입력에서 환각된 기준 이미지를 생성하고, 적대적 학습 및 차이 지도를 활용해 정규화되지 않은 이미지 품질 평가를 위한 회귀 네트워크를 안내함으로써 정밀한 품질 예측을 수행하는 Hallucinated-IQA라는 No-Reference 이미지 품질 평가 방법을 제안한다. 이 방법은 다양한 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며 기존 방법들보다 큰 격차로 앞서고 있다.

ABSTRACT

No-reference image quality assessment (NR-IQA) is a fundamental yet challenging task in low-level computer vision community. The difficulty is particularly pronounced for the limited information, for which the corresponding reference for comparison is typically absent. Although various feature extraction mechanisms have been leveraged from natural scene statistics to deep neural networks in previous methods, the performance bottleneck still exists. In this work, we propose a hallucination-guided quality regression network to address the issue. We firstly generate a hallucinated reference constrained on the distorted image, to compensate the absence of the true reference. Then, we pair the information of hallucinated reference with the distorted image, and forward them to the regressor to learn the perceptual discrepancy with the guidance of an implicit ranking relationship within the generator, and therefore produce the precise quality prediction. To demonstrate the effectiveness of our approach, comprehensive experiments are evaluated on four popular image quality assessment benchmarks. Our method significantly outperforms all the previous state-of-the-art methods by large margins. The code and model will be publicly available on the project page https://kwanyeelin.github.io/projects/HIQA/HIQA.html.

연구 동기 및 목표

• 진정한 기준 이미지가 없는 No-Reference 이미지 품질 평가(NR-IQA)의 부족한 정의 문제를 해결하기 위해.
• 기본 참조가 없고 제한된 정보로 인해 발생하는 NR-IQA의 성능 한계를 극복하기 위해.
• 인지적 차이를 정량화하기 위해 인간의 시각 시스템 행동을 시뮬레이션하기 위해 인지 기반 기준 이미지를 생성하기 위해.
• 추가 애너테이션이나 인위적 사전 지식이 필요 없는 종단간 훈련 가능한 프레임워크를 개발하기 위해.
• 왜곡된 이미지와 환각된 이미지 간의 풍부한 차이 정보를 활용해 품질 예측 정확도를 향상시키기 위해.

제안 방법

• 품질 인식 생성 네트워크가 왜곡된 입력에서 고해상도 환각 기준 이미지를 생성하며, 인지적 타당성을 유지하도록 제약된다.
• 환각된 기준 이미지와 원본 왜곡 이미지를 쌍으로 묶어 인지적 차이를 인코딩하는 차이 지도를 계산한다.
• 실제와 환각된 이미지 쌍을 구분하도록 훈련된 적대적 판별기(IQA-Discriminator)가 생성기를 더 현실적으로 만들도록 안내한다.
• 환각된 기준 이미지가 원본 이미지와 품질 유사성을 유지하도록 품질 인식 인지 손실을 도입한다.
• 생성기와 회귀 네트워크의 다중 수준 의미 특징 융합을 적용해 표현 학습을 향상시킨다.
• 전체 프레임워크는 적대적 학습과 인지 손실을 사용해 종단간 훈련되며, 외부 애너테이션 없이 정밀한 품질 회귀를 가능하게 한다.

실험 결과

연구 질문

• RQ1 환각된 기준 이미지가 인간의 시각 비교를 시뮬레이션함으로써 No-Reference 이미지 품질 평가 성능을 향상시킬 수 있는가?
• RQ2 특화된 IQA-판별기를 사용한 적대적 학습이 NR-IQA를 위한 인지적으로 타당한 기준 이미지를 생성하는 데 얼마나 효과적인가?
• RQ3 왜곡된 이미지와 환각된 이미지 간의 차이 지도를 통합함으로써 품질 예측 정확도가 얼마나 향상되는가?
• RQ4 추가 애너테이션이나 사전 지식 없이 훈련된 모델이 기존 최신 기술 수준의 방법들을 초월할 수 있는가?
• RQ5 다중 수준 특징 융합은 품질 회귀 네트워크의 강건성과 정확도에 어떻게 기여하는가?

주요 결과

• LIVE 데이터베이스에서 Hallucinated-IQA는 기존 최신 기술 수준 방법들인 RankIQA(0.981)와 PQR(0.965)를 크게 앞서는 0.983의 스피어만 순서상관계수(SROCC)를 달성했다.
• TID2008 데이터셋에서 모델은 SROCC 0.934와 LCC 0.917을 기록했으며, 기준 ResNet-18보다 SROCC에서 14% 이상, LCC에서 8% 이상 향상되었다.
• 제거 실험을 통해 환각, 품질 인식 손실, 적대적 학습, 다중 수준 융합 각각의 구성 요소가 성능 향상에 점진적으로 기여하며, 전체 모델은 TID2008에서 SROCC 0.941과 LCC 0.949를 달성했다.
• 다른 데이터셋 평가에서는 TID2008과 TID2013 데이터셋 모두에서 생성기를 훈련함으로써 일반화 능력이 향상되었으며, LIVE 테스트 세트에서 SROCC 0.983과 LCC 0.989를 기록했다.
• 오라클 감독을 통한 모델(Ours+Oracle)은 LIVE에서 SROCC 0.983과 LCC 0.989를 기록했으며, 충분한 훈련 데이터가 제공되면 오라클 수준의 성능에 도달할 수 있음을 보여주었다.
• 모델은 강력한 일반화 능력을 보이며, TID2008에서 훈련된 후 TID2013 서브셋에서 SROCC 0.983을 기록해 예측되지 않은 왜곡 유형에 대해 강건함을 입증했다.