[论文解读] Metrics for Exposing the Biases of Content-Style Disentanglement

Xiao Liu, Spyridon Thermos+4 more|arXiv (Cornell University)|Aug 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 8

一句话总结

本文提出了一套与任务无关的度量方法，用于衡量空间内容与向量风格表征中的解耦程度，评估这些成分之间的不相关性与信息量。作者将这些度量方法应用于三种主流模型的消融变体，揭示了解耦、任务性能与可解释性之间存在权衡关系，且存在一个明确的‘最佳平衡点’，可指导最优模型设计。

ABSTRACT

A recent spate of state-of-the-art semi- and unsupervised solutions for challenging computer vision tasks encode image into a spatial tensor and image appearance or into a vector. Most of these solutions use the term disentangled for their representations and employ different biases such as model design, learning objectives, and data, to achieve good performance in spatially equivariant tasks (e.g. image-to-image translation). While considerable effort has been made to measure disentanglement in vector representations, we have lacked metrics for spatial content and vector style representations. In this paper, we propose such metrics to characterize the degree of disentanglement in terms of how (un)correlated and informative the content and style representations are, and we further examine its relation to task performance. In particular, we first identify key design choices and learning constraints on three popular models that employ content-style disentanglement and derive ablated versions. Secondly, we use our metrics to ascertain the role of each bias. Our experiments reveal a sweet spot between disentanglement, task performance and latent space interpretability. Our metrics are not task-dependent; thus, they can help guide either the design of new future models or the selection of viable models such that this ideal sweet spot is achieved in any task where content-style representations are useful.

研究动机与目标

• 解决现有方法仅关注基于向量的解耦评估，而缺乏针对空间内容与向量风格表征解耦评估度量的不足。
• 识别并分析三种主流内容-风格解耦模型中的关键设计选择与学习约束，以理解其对解耦的影响。
• 开发度量方法，量化内容与风格因子之间的相关性与信息量，以独立于下游任务的方式评估解耦质量。
• 研究解耦、任务性能与可解释性之间的关系，以识别表示学习中的最优平衡点，即‘最佳平衡点’。
• 使模型设计者与实践者能够指导模型的开发与选择，实现高性能同时保持可解释且解耦的表征。

提出的方法

• 提出一对度量方法——基于相关性的度量与基于信息量的度量，用于评估空间内容与向量风格表征中的解耦。
• 在不同偏置（模型架构、损失函数、数据增强）下的三种最先进模型的消融变体上应用这些度量。
• 利用度量方法隔离并测量每个设计选择对解耦的贡献，且独立于下游任务性能。
• 通过潜在因子相关性的统计分析以及内容与风格因子之间互信息的分析，评估解耦质量。
• 通过在多样化数据集上训练模型，并在不依赖下游任务标签的情况下评估解耦，确保度量方法与任务无关。
• 通过在多个模型变体与消融设置下比较结果，验证度量方法的一致性。

实验结果

研究问题

• RQ1 在缺乏现有度量方法的情况下，如何可靠地衡量空间内容与向量风格表征中的解耦？
• RQ2 特定的模型设计选择与学习约束对内容与风格因子解耦程度有何影响？
• RQ3 内容-风格表征中是否存在解耦、任务性能与可解释性之间的权衡？若存在，最优平衡点位于何处？
• RQ4 所提出的度量方法在多大程度上与下游任务性能及模型可解释性相关？
• RQ5 这些度量方法能否指导模型的设计或选择，以实现解耦、性能与可解释性之间的有利平衡？

主要发现

• 所提出的度量方法成功量化了空间内容与向量风格表征中的解耦，提供了一套与任务无关的评估框架。
• 不同的设计选择（如模型架构、损失函数、数据增强）对解耦质量具有可测量且显著不同的影响。
• 解耦、任务性能与可解释性之间存在明确的权衡关系，且存在一个使三者达到平衡的‘最佳平衡点’。
• 高解耦的模型并不总能获得最佳任务性能，表明解耦本身不足以实现最优结果。
• 度量方法揭示，某些学习目标与架构选择能显著降低内容与风格因子之间的相关性，从而提升解耦程度。
• 度量方法在识别保持高可解释性而不牺牲性能的模型变体方面表现有效，支持模型选择与设计。