[论文解读] Measuring the Biases and Effectiveness of Content-Style Disentanglement

Xiao Liu, Spyridon Thermos+4 more|arXiv (Cornell University)|Aug 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 65被引用 5

一句话总结

本文提出并评估了两种新颖的、与任务无关的度量方法，用于衡量图像生成模型中的内容-风格解耦程度，揭示了在适度解耦时性能与可解释性达到最佳平衡的‘黄金区间’。研究发现，强制实现高解耦反而会降低模型的实用性与语义内容质量，挑战了‘解耦程度越高越好’的假设。

ABSTRACT

A recent spate of state-of-the-art semi- and un-supervised solutions disentangle and encode image "content" into a spatial tensor and image appearance or "style" into a vector, to achieve good performance in spatially equivariant tasks (e.g. image-to-image translation). To achieve this, they employ different model design, learning objective, and data biases. While considerable effort has been made to measure disentanglement in vector representations, and assess its impact on task performance, such analysis for (spatial) content - style disentanglement is lacking. In this paper, we conduct an empirical study to investigate the role of different biases in content-style disentanglement settings and unveil the relationship between the degree of disentanglement and task performance. In particular, we consider the setting where we: (i) identify key design choices and learning constraints for three popular content-style disentanglement models; (ii) relax or remove such constraints in an ablation fashion; and (iii) use two metrics to measure the degree of disentanglement and assess its effect on each task performance. Our experiments reveal that there is a "sweet spot" between disentanglement, task performance and - surprisingly - content interpretability, suggesting that blindly forcing for higher disentanglement can hurt model performance and content factors semanticness. Our findings, as well as the used task-independent metrics, can be used to guide the design and selection of new models for tasks where content-style representations are useful.

研究动机与目标

• 识别并分析当前最先进内容-风格解耦模型中的关键设计、学习与数据偏差。
• 开发与任务无关的度量方法，用于评估空间内容与向量风格表征中的解耦程度。
• 探究解耦程度、模型性能（实用性）与内容可解释性之间的关系。
• 通过揭示解耦与性能之间非单调的权衡关系，为未来模型设计提供指导。

提出的方法

• 提出两种互补度量方法：使用距离相关性度量内容与风格之间的统计依赖性，以及使用信息论编码方法评估每个潜在变量的信息量。
• 通过消融研究，放松或移除三种最先进模型（MUNIT、SDNet 和 PANet）中的关键约束（如标签正则化、二值化、等变损失）。
• 采用图像到图像翻译、语义分割和人体姿态估计作为评估任务，以跨模型评估性能。
• 采用皮尔逊相关性分析，研究不同模型与任务下解耦度量与性能之间的关系。
• 通过可视化内容表征与风格遍历结果，定性评估可解释性与真实性。
• 在三个数据集（FFHQ、Cityscapes 和 DeepFashion）上验证结果，采用一致的训练与评估协议。

实验结果

研究问题

• RQ1 不同设计、学习与数据偏差如何影响最先进模型中的内容-风格解耦？
• RQ2 在多种视觉任务中，解耦程度与模型性能之间的真正关系是什么？
• RQ3 更高的解耦是否总是带来更好的模型实用性与更具语义意义的内容表征？
• RQ4 我们能否识别出一个优化性能而不牺牲可解释性的‘黄金区间’？

主要发现

• 当关键风格相关归纳偏差得以保留时，较低的解耦水平反而能提升任务性能，表明解耦与实用性之间存在非单调关系。
• 模型性能与潜在变量的信息量高度相关，表明信息内容比解耦本身更能预测性能。
• 当解耦被强制推向极端时，内容可解释性（通过内容通道中不同物体的可区分性衡量）会下降，表明其与语义意义之间存在权衡。
• 所提出的度量方法彼此之间无显著相关性，验证了其在评估解耦时的互补性。
• 在 MUNIT 模型中，FID 与 LPIPS 度量与解耦度量表现出强相关性，突显了直接使用内容-风格表征在主任务中的关键作用。
• 定性分析表明，即使解耦程度提高，移除正则化（如标签正则化或二值化）仍会导致图像质量下降与风格过渡不平滑。