[论文解读] Comment on "Why does deep and cheap learning work so well?" [arXiv:1608.08225]

David J. Schwab, Pankaj Mehta|arXiv (Cornell University)|Sep 12, 2016

Innovative Teaching and Learning Methods被引用 10

一句话总结

本文反驳了林和特格马克（2016）关于变分重整化群（RG）与深度置信网络之间映射无效的主张。研究证明，他们所谓的‘反例’虽保持了自由能，却违反了原始变分RG框架中的关键条件——迹条件，因此无法推翻该映射。作者澄清，仅保持自由能不足以实现准确的物理预测，原始映射在正确的迹条件约束下依然有效。

ABSTRACT

In a recent paper, "Why does deep and cheap learning work so well?", Lin and Tegmark claim to show that the mapping between deep belief networks and the variational renormalization group derived in [arXiv:1410.3831] is invalid, and present a "counterexample" that claims to show that this mapping does not hold. In this comment, we show that these claims are incorrect and stem from a misunderstanding of the variational RG procedure proposed by Kadanoff. We also explain why the "counterexample" of Lin and Tegmark is compatible with the mapping proposed in [arXiv:1410.3831].

研究动机与目标

• 纠正林和特格马克（2016）对变分RG与深度置信网络之间映射有效性的误解。
• 阐明仅保持自由能不足以实现准确的物理预测，因为自由能的导数（如磁化强度）具有物理意义。
• 证明林和特格马克提出的‘反例’违反了迹条件，而迹条件是变分RG过程中的核心要求。
• 重申梅哈塔与施瓦布（2014）所推导的映射在正确的理论框架下依然有效。

提出的方法

• 作者分析了卡丹诺夫提出的变分RG过程，强调迹条件 Tr_h[e^{T(v,h)}] = 1 在确保正确粗粒化中的作用。
• 他们表明，迹条件蕴含自由能的保持，但反之不成立——自由能的保持并不意味着迹条件成立。
• 作者详细分析了林和特格马克的反例，表明其虽保持自由能，但因 K(y) 非常数而违反迹条件。
• 他们指出，梅哈塔与施瓦布（2014）中存在一个笔误，将迹条件错误地表述为双向条件，这可能是导致误解的原因。
• 理论分析确认，只要正确施加迹条件，该反例与原始映射相容。
• 作者认为，物理相关性不仅依赖于自由能的保持，还需迹条件以维持分布结构。

实验结果

研究问题

• RQ1 仅保持自由能是否足以确保变分RG与深度置信网络之间映射的有效性？
• RQ2 为何林和特格马克的反例未能否定变分RG与深度置信网络之间的映射？
• RQ3 迹条件 Tr_h[e^{T(v,h)}] = 1 在变分RG框架中起什么作用？为何其至关重要？
• RQ4 林和特格马克示例中迹条件的违反如何影响其主张的有效性？
• RQ5 是否存在一种粗粒化变换，能保持自由能但无法保持磁化强度等物理相关量？

主要发现

• 林和特格马克的反例虽保持自由能，但违反了迹条件 Tr_h[e^{T(v,h)}] = 1，而该条件是变分RG框架中的必要条件。
• 其示例中迹条件的违反意味着它并不与梅哈塔与施瓦布（2014）所推导的映射相矛盾，后者明确要求迹条件。
• 作者确认，仅保持自由能不足以实现准确的物理预测，因为物理可观测量依赖于自由能的导数。
• 梅哈塔与施瓦布（2014）中的笔误（将迹条件错误地表述为双向条件）很可能是导致林和特格马克批评中误解的原因。
• 该反例在数学上有效，但不构成对原始映射的威胁，因其未满足变分RG过程的核心条件。
• 当正确施加迹条件时，变分RG的理论框架依然稳健，并与深度置信网络兼容。