[논문 리뷰] Perceptually Motivated Method for Image Inpainting Comparison

Иван Молодецких, Михаил Ерофеев외 1명|arXiv (Cornell University)|2019. 07. 14.

Advanced Image Processing Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 인간의 인지와 연관된 정량적 평가 지표를 제안하여 이미지 복원 품질을 평가한다. 인간의 인지와 관련된 주관적 연구를 통해 9종의 최신 복원 기법을 분석한 결과, 딥 러닝 기반의 비참조 지표—특히 스펙트럴 정규화를 적용한 Inception-V4—가 주관적 평가와 높은 상관관계를 보이며, 주관적 데이터로 훈련되지 않은 채로도 뛰어난 성능을 발휘함을 입증한다.

ABSTRACT

The field of automatic image inpainting has progressed rapidly in recent years, but no one has yet proposed a standard method of evaluating algorithms. This absence is due to the problem's challenging nature: image-inpainting algorithms strive for realism in the resulting images, but realism is a subjective concept intrinsic to human perception. Existing objective image-quality metrics provide a poor approximation of what humans consider more or less realistic. To improve the situation and to better organize both prior and future research in this field, we conducted a subjective comparison of nine state-of-the-art inpainting algorithms and propose objective quality metrics that exhibit high correlation with the results of our comparison.

연구 동기 및 목표

• 이미지 복원 알고리즘을 평가하기 위한 표준화되고 인지적으로 일치하는 방법의 부족을 해결하기 위해.
• 복원된 이미지의 현실감에 대한 인간 인지와 강하게 상관관계를 가지는 객관적 지표를 규명하기 위해.
• 주관적 평가 데이터를 훈련 데이터로 사용하지 않고도 전반적인 참조 및 비참조 지표를 평가하기 위해.
• 인간 인지를 황금 표준으로 삼아 복원 알고리즘을 비교하기 위한 벤치마크를 제공하기 위해.
• 복원 영역을 탐지하도록 훈련된 모델이 복원 품질 추정기로도 효과적으로 기능할 수 있음을 입증하기 위해.

제안 방법

• 33개의 테스트 이미지, 9종의 최신 복원 알고리즘, 전문 사진 편집자들을 대상으로 대규모 주관적 평가를 수행하였다.
• 알고리즘 성능의 기준이 되는 진정한 기준을 확보하기 위해 인간 비교 점수를 수집하였다.
• 인간 평가와의 상관관계를 평가하기 위해 전반적 參조 지표(예: VGG-16 특징, SSIM)와 비참조 지표(예: Inception-V4, ResNet)를 평가하였다.
• 이미지넷 사전 훈련 모델의 가중치를 초기화하여, 평균 제곱오차 손실을 사용해 '정제된' 또는 '복원된' 이미지로 분류하는 딥 네트워크를 훈련시켰다.
• 비참조 모델의 일반화 및 성능 향상을 위해 스펙트럴 정규화와 RGB 노이즈 특징을 적용하였다.
• 훈련 중에 모델 예측과 인간 점수 간의 상관관계를 모니터링하여 과적합을 방지하고, 최고 상관관계에 도달한 시점에서 훈련을 중단하였다.

실험 결과

연구 질문

• RQ1 기존의 객관적 지표(예: PSNR, SSIM)는 이미지 복원 품질에 대한 인간 인지와 얼마나 잘 상관관계를 가지는가?
• RQ2 복원 영역을 탐지하도록 훈련된 비참조 딥 러닝 모델은 복원 품질 추정기로도 효과적으로 기능할 수 있는가?
• RQ3 어느 객관적 지표가 인간의 복원 현실감 평가와 가장 높은 상관관계를 가지는가?
• RQ4 정제된 이미지와 복원된 이미지를 구분하도록 훈련된 모델은 주관적 데이터로의 특화 없이도 인간 인지와 잘 상관관계를 가지는가?
• RQ5 전반적 參조 지표와 비참조 지표는 복원 품질에 대한 인간 선호도를 예측하는 데 어떤 정도의 능력을 가지는가?

주요 결과

• VGG-16의 block5_conv3 레이어는 이미지넷으로 미세조정한 결과, 전반적 參조 지표 중에서 인간 반응과 가장 높은 평균 피어슨 상관계수(0.89)를 기록하였다.
• 스펙트럴 정규화를 적용한 Inception-V4 모델은 비참조 지표 중에서 가장 뛰어난 성능을 보였으며, 주관적 점수로 훈련되지 않은 채로도 인간 평가와 높은 상관관계를 보였다.
• 기존의 전반적 參조 지표인 SSIM는 인간 인지와 낮은 상관관계를 보이며, 종종 복원 결과의 현실감을 과소 평가하는 경향이 있었다.
• 가장 뛰어난 비참조 모델(Inception-V4에 스펙트럴 정규화 적용)은 인간 비교와 평균 피어슨 상관계수 0.83, 슔피어만 상관계수 0.78를 기록하였다.
• 인간 인지와의 상관관계를 위한 명시적 최적화 없이도, 복원 영역을 탐지하도록 훈련된 딥 러닝 모델이 인간 인지와 강한 일치를 보였다.
• 진정한 기준 점수를 상관 분석에서 제외함으로써 전반적 參조 지표의 우월성이 감소하였으며, 이는 이러한 지표에서 자기 비교에 의해 유도된 편향을 드러내었다.