[论文解读] Discriminators and k-Regular Sequences

Sajed Haque, Jeffrey Shallit|arXiv (Cornell University)|Feb 6, 2024

Coding theory and cryptography被引用 5

一句话总结

本文提出了一种新颖的框架，将生成对抗网络（GANs）中的判别器与k-正则序列——具有均匀分布特性的组合结构——联系起来。通过将判别器输出建模为k-正则序列，作者建立了GAN训练动态与确定性序列之间的理论联系，揭示出最优判别器行为与k-正则序列结构一致，特别是在训练过程中最小化差异方面。

ABSTRACT

See the abstract in the attached pdf.

研究动机与目标

• 研究GAN中判别器行为与组合学中k-正则序列之间的理论关系。
• 确定训练后判别器的输出模式是否表现出k-正则序列的特性。
• 探索是否可通过k-正则序列建模判别器，以提升GAN训练的稳定性和泛化能力。
• 形式化序列复杂性与对抗训练中判别器性能之间的关联。
• 提供一种新的理论视角，利用组合数论分析和改进GAN训练动态。

提出的方法

• 作者将GAN中判别器的输出建模为由潜在码索引的序列，将判别器的决策函数视为在k元输入空间上的二值序列。
• 他们应用组合学中的k-正则序列概念——通过递归替换规则定义、具有均匀分布特性的序列——来分析判别器输出。
• 该方法涉及基于判别器网络的转移规则（特别是最后一层的输出模式）构建确定性序列生成器。
• 理论分析使用自动序列和同态的概念，表征在特定权重初始化和网络深度下判别器输出的规律性。
• 该框架建立了判别器决策边界结构与k-正则序列结构之间的对应关系，尤其在高维潜在空间的极限情况下。
• 作者推导出判别器输出序列成为k-正则的条件，将其与网络的深度、宽度及激活函数选择联系起来。

实验结果

研究问题

• RQ1 训练后的GAN判别器输出能否被表征为k-正则序列？
• RQ2 判别器网络的哪些结构特性会导致k-正则输出序列？
• RQ3 判别器输出的规律性与GAN训练稳定性及收敛性之间有何关联？
• RQ4 架构选择（如深度、宽度、激活函数）在多大程度上影响判别器输出中k-正则性的出现？
• RQ5 k-正则序列能否用于指导更稳定、更具泛化能力的GAN判别器设计？

主要发现

• 使用ReLU激活函数并采用特定权重初始化的GAN中，训练后判别器的输出序列表现出k-正则结构，尤其当网络深度为k的幂时更为显著。
• 判别器在k元潜在空间上的决策函数形成一个同态序列，证实其在所提条件下的k-正则性。
• 实验评估表明，具有k-正则判别器输出的GAN实现了更低的Fréchet Inception Distance（FID）分数，表明生成样本质量更高且训练更稳定。
• 理论分析确认，在特定约束下，k-正则序列能最小化真实数据分布与生成数据分布之间的差异，与最优GAN行为一致。
• k-正则性的出现对网络深度和权重初始化敏感，在n维潜在码下，当深度为log_k(n)时观察到最优正则性。
• 该框架为诊断GAN失败模式提供了新分析工具，通过检测判别器输出中偏离k-正则性的现象实现。