[논문 리뷰] RAN4IQA: Restorative Adversarial Nets for No-Reference Image Quality Assessment

Hongyu Ren, Diqi Chen외 1명|arXiv (Cornell University)|2017. 12. 14.

Image and Video Quality Assessment참고 문헌 29인용 수 11

한 줄 요약

이 논문은 자유 에너지 뇌 이론을 영감으로 삼아 인간 시각 시스템의 행동을 모방하는 GAN 기반의 비참조 이미지 품질 평가 모델인 RAN4IQA를 제안한다. 이 모델은 왜곡된 이미지 패치를 복원하고 복원의 정서적 이득(GoR)을 측정함으로써 인간의 시각 행동을 모방한다. TID2013 및 LIVE 데이터셋에서 최신 기술 수준의 성능을 달성하며, TID2013에서 SROCC 0.948과 PLCC 0.937을 기록하여 뛰어난 일반화 능력과 강건성을 입증한다.

ABSTRACT

Inspired by the free-energy brain theory, which implies that human visual system (HVS) tends to reduce uncertainty and restore perceptual details upon seeing a distorted image, we propose restorative adversarial net (RAN), a GAN-based model for no-reference image quality assessment (NR-IQA). RAN, which mimics the process of HVS, consists of three components: a restorator, a discriminator and an evaluator. The restorator restores and reconstructs input distorted image patches, while the discriminator distinguishes the reconstructed patches from the pristine distortion-free patches. After restoration, we observe that the perceptual distance between the restored and the distorted patches is monotonic with respect to the distortion level. We further define Gain of Restoration (GoR) based on this phenomenon. The evaluator predicts perceptual score by extracting feature representations from the distorted and restored patches to measure GoR. Eventually, the quality score of an input image is estimated by weighted sum of the patch scores. Experimental results on Waterloo Exploration, LIVE and TID2013 show the effectiveness and generalization ability of RAN compared to the state-of-the-art NR-IQA models.

연구 동기 및 목표

• 왜곡된 이미지를 평가할 때 인간 시각 시스템의 행동을 모방하는 비참조 이미지 품질 평가 모델을 개발하는 것.
• 기존의 NR-IQA 방법들이 품질 평가 과정에서 인간이 사용하는 정서적 복원 과정을 忽시하는 한계를 해결하는 것.
• 왜곡된 패치와 복원된 패치 간의 정서적 거리에 기반한 새로운 지표인 복원 이득(GoR)을 도입하는 것.
• 적대적 훈련과 정서적 손실을 통해 다양한 왜곡 유형과 데이터셋에 걸쳐 일반화 능력과 강건성을 향상시키는 것.
• 표준 벤치마크에서 최신 기술 수준의 NR-IQA 방법들과의 비교를 통해 모델의 우월성을 검증하는 것.

제안 방법

• 모델은 세 가지 구성 요소로 이루어져 있다: 왜곡된 이미지 패치를 복원하는 복원기, 복원된 패치와 원본 패치를 구분하는 판별기, GoR를 기반으로 품질 점수를 예측하는 평가기.
• 복원기는 인간의 정서적 인식과 일치하는 시각적으로 타당한 복원을 보장하기 위해 정서적 손실을 사용해 훈련된다.
• 적대적 훈련은 워샤프스키 거리(Wasserstein distance)를 사용하여 GAN 훈련 과정을 안정화하고 생성기의 품질을 향상시킨다.
• GoR는 왜곡된 패치와 복원된 패치 간의 정서적 거리로 정의되며, 이는 왜곡 수준과 상관관계를 가지는 단조성 특성을 보인다.
• 최종 이미지 품질 점수는 왜곡 심각도에 따라 결정되는 가중치를 적용한 패치 수준 점수의 가중 평균으로 계산된다.
• 평가기는 FSIM 기반 레이블을 사용해 Waterloo Exploration에서 사전 훈련하고, TID2013 및 LIVE에서 미세조정하여 다중 데이터셋 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 인간 시각 시스템의 복원 행동을 모방하는 GAN 기반 모델이 비참조 이미지 품질 평가 성능에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 복원의 정서적 이득(GoR)이 왜곡 수준과 상관관계를 가지는 단조성 특성을 보이며, 신뢰할 수 있는 품질 예측이 가능한가?
• RQ3 정서적 손실과 워샤프스키 GAN 훈련을 통합함으로써 이미지 복원 품질과 이후 품질 평가 성능가 향상되는가?
• RQ4 제안된 모델이 다양한 왜곡 유형과 수준을 가진 서로 다른 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ5 복원기, 판별기, 평가기, 가중 점수 전략 등 각 구성 요소가 전체 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• RAN4IQA는 TID2013 데이터셋에서 SROCC 0.948과 PLCC 0.937을 기록하여 모든 최신 기술 수준의 NR-IQA 방법을 능가한다.
• TID2013에서 모든 다른 NR-IQA 모델과 비교해 통계적으로 유의미한 성능 향상(SROCC 및 PLCC 모두 p < 0.05)을 보였다.
• LIVE 데이터셋에서도 RAN은 비교된 모든 NR-IQA 방법 중 최고의 성능을 기록하여 강력한 일반화 능력을 입증했다.
• 절단 실험 결과, 판별기를 제거할 경우 성능 저하가 가장 심각했으며(SROCC 0.854로 감소), 이는 판별기가 복원기를 안내하는 데 핵심적인 역할을 한다는 것을 시사한다.
• 정서적 손실 또는 가중 점수 전략을 제거할 경우도 성능 저하가 심각하게 발생하여, 정서적 일관성과 공간 해상도 유지에 이들이 중요한 역할을 한다는 것을 확인했다.
• 워샤프스키 손실이 없는 모델은 전체 모델보다 약간 낮은 성능(SROCC: 0.936)을 보였으며, 이는 훈련 안정성 향상에 기여한다는 것을 시사한다.