[논문 리뷰] Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks

Michael O. Vertolli, Jim Davies|arXiv (Cornell University)|2017. 08. 06.

Image and Video Quality Assessment참고 문헌 31인용 수 5

한 줄 요약

이 논문은 자동에코더 GAN, 특히 BEGAN의 훈련과 평가를 향상시키기 위해 다차원 이미지 품질 평가(IQA) 프레임워크를 제안한다. l₁, GMSM, 그리고 색채도 거리 함수를 손실 구성 요소로 통합함으로써, 생성자에 구조적이고 인지적인 이미지 특성 학습을 강화하여, 모odal 붕괴 없이 더 높은 품질의 세밀한 세부 정보를 가진 샘플을 생성한다. 특히 잠재 차원 수가 더 큰 경우(Nz = 256)에 두드러진다.

ABSTRACT

We propose a training and evaluation approach for autoencoder Generative Adversarial Networks (GANs), specifically the Boundary Equilibrium Generative Adversarial Network (BEGAN), based on methods from the image quality assessment literature. Our approach explores a multidimensional evaluation criterion that utilizes three distance functions: an $l_1$ score, the Gradient Magnitude Similarity Mean (GMSM) score, and a chrominance score. We show that each of the different distance functions captures a slightly different set of properties in image space and, consequently, requires its own evaluation criterion to properly assess whether the relevant property has been adequately learned. We show that models using the new distance functions are able to produce better images than the original BEGAN model in predicted ways.

연구 동기 및 목표

• 자기확률이 없는 훈련으로 인해 시각적 점검에 의존하는 자동에코더 GAN에 대한 신뢰할 수 있고 원칙적인 평가 지표의 부족을 해결하기 위해.
• 단일 스칼라 평가 지표의 한계를 극복하기 위해 이미지 품질 평가에 다차원 접근법을 도입하기 위해.
• 생성자에 의해 캡처되는 다양한 이미지 특성을 반영하는 인지적으로 의미 있는 거리 함수를 통합함으로써 BEGAN 훈련을 향상시키기 위해.
• 다양한 IQA 지표가 더 효과적이고 안정적인 GAN 훈련 및 생성을 이끌 수 있는지 조사하기 위해.
• 다양한 거리 함수의 조합이 더 높은 이미지 품질과 감소된 모달 붕괴를 이끌 수 있음을 입증하기 위해.

제안 방법

• BEGAN 훈련 목표에 세 가지 이미지 거리 함수—l₁ 노름, 기울기 크기 유사도 평균(GMSM), 색채도 유사도—를 보조 손실 구성 요소로 통합하기.
• 기본 자동에코더 손실을 다성분 거리 함수로 대체하거나 보완함으로써 BEGAN 손실 함수를 수정하여 이러한 메트릭을 통합하기.
• GMSM 점수를 통해 구조적이고 에지 정보를 강조함으로써 모델이 세부 정보를 더 잘 학습할 수 있도록 하기.
• 다양한 거리 함수의 기여를 균형 있게 조절하기 위해 스케일된 BEGAN 목표 함수(스케일드 BEGAN+GMSM)를 적용하기.
• 모달 붕괴와 인지적 품질에 미치는 영향을 탐색하기 위해 잠재 차원 수를 증가시켜(Nz = 256) 모델을 훈련하기.
• 12개의 모델 변종에 대한 생성된 이미지 품질을 시각적 점검과 정량적 비교를 통해 평가하기.

실험 결과

연구 질문

• RQ1 다차원 이미지 품질 평가 지표가 단일 스칼라 지표를 넘어서 자동에코더 GAN의 훈련과 평가를 향상시킬 수 있는가?
• RQ2 다른 거리 함수(l₁, GMSM, 색채도)가 생성자 출력에서 서로 다른 고유한 이미지 특성을 캡처하고 상보적인가?
• RQ3 GMSM 기반의 에지 유사도가 고해상도이자 세밀한 세부 정보를 가진 이미지를 생성하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ4 다양한 메트릭 훈련과 함께 잠재 차원 크기를 늘리면(Nz) 모달 붕괴가 완화되는가?
• RQ5 전면 기반(IQA) 기법의 통합이 더 안정적이고 인지적으로 열등한 GAN 훈련을 이끌 수 있는가?

주요 결과

• GMSM 거리 함수를 사용한 모델(특히 스케일드 BEGAN+GMSM)은 원래 BEGAN 모델보다 훨씬 선명하고 세부 정보가 풍부한 이미지를 생성했다.
• l₁ 거리 함수는 생성자 출력 공간을 효과적으로 제약하여 다른 메트릭이 보완할 수 있는 유용한 경계로 기능했다.
• 잠재 차원을 128에서 256으로 늘임으로써, 학습률을 그대로 유지한 상태에서도 GMSM 향상 모델에서 모달 붕괴가 방지되었다.
• 생성자가 출력한 이미지와 자동에코더의 재구성 이미지 간의 기울기 크기 유사도가 디세리너의 그것보다 높게 나타나, 더 나은 구조적 보존 능력을 보였다.
• 색채도 유사도는 학습하기 어려운 성질이자 연구가 부족한 성질로 밝혀져, GAN 훈련에서 향후 연구가 필요할 것으로 보인다.
• 다차원 접근법은 단일 메트릭 평가를 능가했으며, 다양한 거리 함수가 서로 다른 이미지 특성을 캡처하고 있으며, 이를 별도로 평가해야 한다는 점을 보여주었다.