[論文レビュー] Comment on "Why does deep and cheap learning work so well?" [arXiv:1608.08225]

David J. Schwab, Pankaj Mehta|arXiv (Cornell University)|Sep 12, 2016

Innovative Teaching and Learning Methods被引用数 10

ひとこと要約

本稿は、リンとテグマーク（2016）が変分的粗挙げ群（RG）とディープベルリーフネットワークの間の写像が無効であると主張するのを反論する。彼らが提示する「反例」は自由エネルギーを保存するが、元の変分的RGフレームワークにおける重要な要件であるトレース条件を破る。したがって、この反例は写像を無効にしない。著者らは、自由エネルギーを保存するだけでは正確な物理的予測が得られないと明言し、正しいトレース条件のもとでは元の写像が依然として有効であることを確認する。

ABSTRACT

In a recent paper, "Why does deep and cheap learning work so well?", Lin and Tegmark claim to show that the mapping between deep belief networks and the variational renormalization group derived in [arXiv:1410.3831] is invalid, and present a "counterexample" that claims to show that this mapping does not hold. In this comment, we show that these claims are incorrect and stem from a misunderstanding of the variational RG procedure proposed by Kadanoff. We also explain why the "counterexample" of Lin and Tegmark is compatible with the mapping proposed in [arXiv:1410.3831].

研究の動機と目的

• 変分的RGとディープベルリーフネットワークの間の写像の有効性について、リンとテグマーク（2016）の誤解を是正すること。
• 自由エネルギーの保存だけでは正確な物理的予測が不十分であることを明確にすること。自由エネルギーの導関数（例：磁化）が物理的に重要であるからである。
• リンとテグマークが提示する「反例」がトレース条件を破ることを示し、これは変分的RG手順において不可欠な条件である。
• メーハとシュヴァブ（2014）が導出した写像が、正しい理論的枠組みのもとでは依然として有効であることを再確認すること。

提案手法

• 著者らは、カダノフが提示した変分的RG手順を分析し、粗挙げの適切な実行を保証するためのトレース条件 Tr_h[e^{T(v,h)}] = 1 の役割を強調する。
• トレース条件が自由エネルギーの保存を意味するが、逆は成り立たないことを示す。つまり、自由エネルギーの保存はトレース条件を意味しない。
• 著者らはリンとテグマークの反例を詳細に検討し、自由エネルギーは保存されるが、K(y)が定数でないためにトレース条件が破られることが判明する。
• メーハとシュヴァブ（2014）の論文に、トレース条件が誤って双方向条件として記載されていたタイプミスを特定し、これがリンとテグマークの誤解を招いた可能性があると指摘する。
• 理論的分析により、反例がトレース条件を正しく満たしていれば、元の写像と矛盾しないことが確認される。
• 著者らは、物理的意味を持つには自由エネルギーの保存だけでは不十分であり、分布の構造を保つためにトレース条件の維持が不可欠であると主張する。

実験結果

リサーチクエスチョン

• RQ1 自由エネルギーの保存だけが、変分的RGとディープベルリーフネットワークの間の有効な写像を保証するのか？
• RQ2 なぜリンとテグマークの反例は、変分的RGとディープベルリーフネットワークの間の写像を無効にしないのか？
• RQ3 トレース条件 Tr_h[e^{T(v,h)}] = 1 は変分的RGフレームワークにおいて果たす役割は何か？なぜそれが不可欠なのか？
• RQ4 リンとテグマークの例におけるトレース条件の違反が、彼らの主張の有効性に与える影響は何か？
• RQ5 粗挙げ変換が自由エネルギーを保存しながらも、磁化のような物理的に関連する量を保存しないことは可能か？

主な発見

• リンとテグマークの反例は自由エネルギーを保存するが、変分的RGフレームワークにおいて必須の条件であるトレース条件 Tr_h[e^{T(v,h)}] = 1 を破る。
• その例におけるトレース条件の違反は、トレース条件を明示的に要請するメーハとシュヴァブ（2014）の写像を反証しない。
• 著者らは、自由エネルギーの保存だけでは正確な物理的予測が得られないと確認する。物理的観測量は自由エネルギーの導関数に依存するからである。
• メーハとシュヴァブ（2014）の論文におけるタイプミス（トレース条件が誤って双方向条件として記載されたこと）が、リンとテグマークの批判における誤解を生んだ可能性がある。
• 反例は数学的に有効であるが、変分的RG手順の核心的条件を満たさないため、元の写像を損なわない。
• トレース条件が正しく適用されれば、変分的RGの理論的枠組みはディープベルリーフネットワークと依然として整合的で、堅牢である。