[论文解读] Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks

Michael O. Vertolli, Jim Davies|arXiv (Cornell University)|Aug 6, 2017

Image and Video Quality Assessment参考文献 31被引用 5

一句话总结

该论文提出了一种多维图像质量评估（IQA）框架，以改进自编码器 GAN 的训练与评估，特别是 BEGAN 模型。通过将 l₁、GMSM 和色度距离函数作为损失组件整合，该方法增强了生成器对图像结构和感知特性的学习能力，从而在不发生模式崩溃的情况下生成更高质量、细节丰富的样本，尤其当潜在维度增大时（Nz = 256）。

ABSTRACT

We propose a training and evaluation approach for autoencoder Generative Adversarial Networks (GANs), specifically the Boundary Equilibrium Generative Adversarial Network (BEGAN), based on methods from the image quality assessment literature. Our approach explores a multidimensional evaluation criterion that utilizes three distance functions: an $l_1$ score, the Gradient Magnitude Similarity Mean (GMSM) score, and a chrominance score. We show that each of the different distance functions captures a slightly different set of properties in image space and, consequently, requires its own evaluation criterion to properly assess whether the relevant property has been adequately learned. We show that models using the new distance functions are able to produce better images than the original BEGAN model in predicted ways.

研究动机与目标

• 解决自编码器 GAN 缺乏可靠、有原则的评估指标的问题，因其训练过程无似然函数，依赖视觉检查。
• 通过引入多维图像质量评估方法，克服单一标量评估指标的局限性。
• 通过整合能够捕捉图像不同特性的感知有意义的距离函数，改进 BEGAN 的训练。
• 探究不同 IQA 指标是否能引导更有效且更稳定的 GAN 训练与生成。
• 证明结合多种距离函数可提升图像质量并减少模式崩溃。

提出的方法

• 在 BEGAN 训练目标中整合三种图像距离函数——l₁ 范数、梯度幅值相似性均值（GMSM）和色度相似性——作为辅助损失组件。
• 通过用多组件距离函数替换或补充标准自编码器损失，修改 BEGAN 损失函数以包含这些指标。
• 利用 GMSM 分数突出结构和边缘信息，提升模型学习细微细节的能力。
• 应用缩放版本的 BEGAN 目标（缩放 BEGAN+GMSM）以平衡不同距离函数的贡献。
• 使用更大的潜在维度（Nz = 256）训练模型，以探究其对模式崩溃和感知质量的影响。
• 通过视觉检查和 12 种模型变体在生成图像质量上的定量比较来评估结果。

实验结果

研究问题

• RQ1 多维图像质量评估指标是否能在超越单一标量指标的基础上，改善自编码器 GAN 的训练与评估？
• RQ2 不同的距离函数（l₁、GMSM、色度）是否能捕捉生成器输出中不同且互补的图像特性？
• RQ3 基于 GMSM 的边缘相似性包含是否能提升模型生成高保真度、细节丰富的图像的能力？
• RQ4 当与多指标训练结合时，增大潜在维度大小（Nz）是否能缓解模式崩溃？
• RQ5 整合全参考 IQA 技术是否能带来更稳定且感知质量更优的 GAN 训练？

主要发现

• 使用 GMSM 距离函数的模型（尤其是缩放 BEGAN+GMSM）生成的图像显著更清晰、细节更丰富，优于原始 BEGAN 模型。
• l₁ 距离函数有效约束了生成器的输出空间，可作为其他指标进一步优化的有用边界。
• 将潜在维度从 128 增大到 256 后，即使学习率保持不变，GMSM 增强模型也成功避免了模式崩溃。
• 生成器输出与自编码器重建结果之间的梯度幅值相似性高于判别器，表明其具有更好的结构保持能力。
• 色度相似性被识别为难以学习且研究不足的特性，提示其在 GAN 训练中值得进一步探索。
• 多维方法优于单一指标评估，表明不同距离函数捕捉了必须分别评估的不同图像特性。