[论文解读] Information Competing Process for Learning Diversified Representations

Jie Hu, Rongrong Ji+5 more|arXiv (Cornell University)|Jun 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用 7

一句话总结

该论文提出信息竞争过程（ICP），一种新颖的框架，通过将特征表示分为两部分并施加相反的互信息约束——一部分最大化与输入的互信息，另一部分最小化与输入的互信息——来学习多样化表示。这两部分在独立训练中竞争，以避免冗余，随后协同融合，从而生成更解耦且更具判别性的特征，在图像分类和重建任务中均取得性能提升，且在SOTA解耦分数上得到验证。

ABSTRACT

Learning representations with diversified information remains as an open problem. Towards learning diversified representations, a new approach, termed Information Competing Process (ICP), is proposed in this paper. Aiming to enrich the information carried by feature representations, ICP separates a representation into two parts with different mutual information constraints. The separated parts are forced to accomplish the downstream task independently in a competitive environment which prevents the two parts from learning what each other learned for the downstream task. Such competing parts are then combined synergistically to complete the task. By fusing representation parts learned competitively under different conditions, ICP facilitates obtaining diversified representations which contain rich information. Experiments on image classification and image reconstruction tasks demonstrate the great potential of ICP to learn discriminative and disentangled representations in both supervised and self-supervised learning settings.

研究动机与目标

• 为解决表示学习中学习多样化表示这一开放问题。
• 克服现有方法依赖单一类型互信息约束导致特征冗余且信息量不足的局限性。
• 开发一种框架，促使表示的不同部分从输入中学习不同且互补的信息。
• 实现竞争学习表示的协同融合，以提升下游任务性能。
• 在监督和自监督学习场景中验证ICP的有效性。

提出的方法

• ICP将表示分为两部分，每部分受不同的互信息目标约束：一部分最大化与输入的互信息，另一部分最小化与输入的互信息。
• 两部分在竞争设置中独立训练，优化过程中彼此无法访问对方的知识。
• 独立训练后，两部分被拼接并联合用于下游任务，实现协同特征学习。
• 通过一种新型目标函数优化该方法，平衡监督和自监督设置下的竞争与协作阶段。
• 该框架使用深度神经网络实现，并应用于VGG、GoogLeNet、ResNet、DenseNet和β-VAE架构。
• 使用MIG分数评估解耦性，使用MSE和SSIM评估重建质量。

实验结果

研究问题

• RQ1 一种强制不同部分在相反互信息约束下竞争的表示学习框架，能否学习到更丰富且信息量更大的特征？
• RQ2 表示部分的竞争性训练是否能防止特征冗余并提升解耦性？
• RQ3 竞争学习部分的协同融合是否能增强图像分类和重建等下游任务的性能？
• RQ4 ICP在基准数据集上的解耦性和重建质量方面与SOTA方法相比如何？
• RQ5 ICP在自监督设置下，能在多大程度上学习到细粒度且语义有意义的解耦表示？

主要发现

• 在3D Faces数据集上，ICP实现了SOTA的MIG得分为0.73，优于β-VAE（0.54）和β-TCVAE（0.62）。
• 在dSprites数据集上，ICP的MIG得分为0.48，优于β-VAE（0.22）和β-TCVAE（0.38）。
• 在CelebA数据集的自监督重建任务中，ICP的MSE为8.5×10⁻³，SSIM为0.62，优于β-VAE的9.2×10⁻³ MSE和0.60 SSIM。
• 定性分析表明，ICP成功解耦了dSprites中的旋转属性、3D Faces中的面部宽度以及CelebA中的山羊胡属性。
• 消融研究证实，若移除竞争过程，解耦性能会下降，验证了其必要性。
• 该方法在多种架构和学习设置下均表现出一致的性能提升，证实了其泛化能力和鲁棒性。