[论文解读] Learning Independent Features with Adversarial Nets for Non-linear ICA

Philémon Brakel, Yoshua Bengio|arXiv (Cornell University)|Oct 13, 2017

Blind Source Separation Techniques参考文献 18被引用 51

一句话总结

本文提出对抗性非线性 ICA (ANICA)，利用基于 GAN 的目标函数学习统计独立的特征，以实现线性和非线性 ICA，方法通过重新采样或单独的边缘分布生成器实现，在合成数据和音频混合上进行了验证。

ABSTRACT

Reliable measures of statistical dependence could be useful tools for learning independent features and performing tasks like source separation using Independent Component Analysis (ICA). Unfortunately, many of such measures, like the mutual information, are hard to estimate and optimize directly. We propose to learn independent features with adversarial objectives which optimize such measures implicitly. These objectives compare samples from the joint distribution and the product of the marginals without the need to compute any probability densities. We also propose two methods for obtaining samples from the product of the marginals using either a simple resampling trick or a separate parametric distribution. Our experiments show that this strategy can easily be applied to different types of model architectures and solve both linear and non-linear ICA problems.

研究动机与目标

• 在互信息难以估计时，激励并表述学习独立成分的挑战。
• 提出一个对抗框架，以隐式最小化学习到的特征之间的依赖。
• 开发一个带有解码器的自编码器架构，以在保持输入信息的同时强制独立性。
• 展示在线性和非线性 ICA 任务中的适用性，包括音频源分离。
• 提供针对边际分量乘积的实际采样策略并研究训练动力学。

提出的方法

• 使用 GAN 风格的训练，通过判别器来最小化潜在特征 Z 的联合分布与边际乘积之间的散度。
• 通过重新采样联合样本或训练一个单独的边际生成器网络，获得边际分布乘积的样本。
• 结合自编码器结构，使用解码器确保潜在编码（F 和 V）的重构性与信息性。
• 在将潜在特征输入判别器之前进行归一化，以稳定训练并避免退化解。
• 通过从数据 X 学习互相独立的分量来应用框架到非线性 ICA，采用编码器 F 和解码器 V，并辅以辅助判别器 D。
• 对线性、后非线性（PNL）以及过定量的非线性混合进行实验，并与 FastICA 和 MISEP 基线进行比较。

实验结果

研究问题

• RQ1 对抗性目标是否能够在 ICA 设置中近似独立性度量（例如互信息），而不需要显式密度估计？
• RQ2 结合自编码器重构的 GAN 风格目标是否能够在线性与非线性 ICA 问题中学习独立分量？
• RQ3 在该框架中对生产边际分量乘积样本的重采样与单独边际生成器两种方法有何比较？
• RQ4 在不同架构和数据类型（合成信号与语音）下，提出的 ANICA 模型在源分离中的效果如何？
• RQ5 对抗性 ICA 的实践训练与模型选择有哪些考虑要点？

主要发现

• 对抗性目标能够有效促进独立性并解决线性与非线性 ICA 任务。
• 基于重采样的 ANICA 在合成线性与非线性混合上达到高相关性（例如 Anica: Linear 0.9987, PNL 0.9794, MLP 0.9667）。
• Anica-g（单独边际生成器）在线性任务上表现良好，但在非线性任务上对超参数调优存在变动。
• 在音频数据上，线性 ICA 达到高精度，而 PNL 任务相较基线如 MISEP 更偏好重采样 ANICA。
• PNLMISEP 仍然是后非线性混合的强基线；FastICA 在某些线性情形下仍具竞争力。
• 通过稳定性（不同随机种子标准差）的模型选择比单纯的平均目标值更可靠，用于评估分离性能。