[论文解读] Disentangled Representations in Neural Models

WILLIAM F. WHITNEY|arXiv (Cornell University)|Feb 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 8

一句话总结

本文提出了一种神经网络中解耦表征的学习框架，采用两种互补方法：用于视觉的深度卷积逆向图像网络（DC-IGN）和用于计算的控制器-函数网络（CFN）。通过批量变换控制和延续学习强制实现解耦，模型在无性能损失且对灾难性遗忘具有强鲁棒性的前提下，实现了可解释、可重用且高性能的表征。

ABSTRACT

Representation learning is the foundation for the recent success of neural network models. However, the distributed representations generated by neural networks are far from ideal. Due to their highly entangled nature, they are di cult to reuse and interpret, and they do a poor job of capturing the sparsity which is present in real- world transformations. In this paper, I describe methods for learning disentangled representations in the two domains of graphics and computation. These methods allow neural methods to learn representations which are easy to interpret and reuse, yet they incur little or no penalty to performance. In the Graphics section, I demonstrate the ability of these methods to infer the generating parameters of images and rerender those images under novel conditions. In the Computation section, I describe a model which is able to factorize a multitask learning problem into subtasks and which experiences no catastrophic forgetting. Together these techniques provide the tools to design a wide range of models that learn disentangled representations and better model the factors of variation in the real world.

研究动机与目标

• 解决深度神经网络中纠缠的、不可解释表征的局限性。
• 开发在视觉与计算中学习解耦表征的方法，且不牺牲模型性能。
• 通过将任务分解为可重用、可解释的组件，缓解多任务学习中的灾难性遗忘。
• 实现对图像属性（如姿态、光照）的零样本操控，并实现对新条件的泛化。
• 设计一种可微架构，通过可学习的加权机制组合不可微函数。

提出的方法

• 使用变分自编码器目标与随机反向传播训练DC-IGN，其中每个小批量中仅一个潜在变量变化，其余被固定为其小批量平均值。
• 通过仅激活单一变换（如人脸旋转、光照变化）的小批量进行训练，强制每个潜在神经元仅捕捉该变化因子，从而实现解耦。
• 使用控制器-函数网络（CFN），根据输入学习对多个原始函数进行加权，实现模块化、可解释的计算。
• 在CFN中实现硬决策与软决策，通过噪声决策和延续方法稳定训练，逐步优化函数组合。
• 利用控制器梯度不依赖于函数梯度的特性，即使函数不可微，也能实现训练。
• 应用延续学习，通过逐步增加训练过程中的时间步数，训练深层多步CFN，同时保持解耦性与性能。

实验结果

研究问题

• RQ1 我们能否通过可微、端到端的训练过程，在视觉中学习到解耦表征，并强制实现对图像变换的因子化控制？
• RQ2 在多任务学习中，计算中的解耦表征能否在保持高性能的同时防止灾难性遗忘？
• RQ3 控制器网络在多大程度上可通过可学习的、可微的加权机制组合不可微函数，从而实现模块化与可解释的计算？
• RQ4 延续学习能否用于训练深层多步CFN，同时保持解耦性并避免性能下降？
• RQ5 统一框架能否在完全无监督的情况下推断并表征视频数据中的真实变化因子？

主要发现

• DC-IGN模型成功解耦了姿态、光照和形状等图像因子，实现了在新条件下的零样本图像重渲染，且保真度高。
• 在3D人脸数据集上，DC-IGN编码器能从静态测试图像中准确预测变换，且在多种网络配置下表现稳健。
• 控制器-函数网络（CFN）在多任务学习中实现了函数的完全解耦，且未出现灾难性遗忘，即使在学习复杂序列任务时亦如此。
• CFN框架使控制器能够对不可微函数产生连续、可微的加权，即使函数本身不可微，仍可通过反向传播进行训练。
• 实验表明，与纠缠基线相比，解耦表征不带来性能损失，反而保持或提升了泛化能力与鲁棒性。
• DC-IGN与CFN的结合为完全无监督地推断视频中变化因子提供了路径，具有构建分层、稀疏且可解释的世界模型的潜力。