[论文解读] Geometrization of deep networks for the interpretability of deep learning systems

Xiao Dong, Ling Zhou|arXiv (Cornell University)|Jan 6, 2019

Human Pose and Action Recognition参考文献 38被引用 7

一句话总结

本文提出了一种深度学习系统的几何化框架，将深度网络建模为流形上的连续几何流，以增强可解释性。通过借鉴物理学——尤其是图像配准、量子计算和广义相对论——表明深度网络可被理解为由Fisher-Rao度量定义的黎曼流形中的测地线，为深度网络的成功与泛化提供了几何基础。

ABSTRACT

How to understand deep learning systems remains an open problem. In this paper we propose that the answer may lie in the geometrization of deep networks. Geometrization is a bridge to connect physics, geometry, deep network and quantum computation and this may result in a new scheme to reveal the rule of the physical world. By comparing the geometry of image matching and deep networks, we show that geometrization of deep networks can be used to understand existing deep learning systems and it may also help to solve the interpretability problem of deep learning systems.

研究动机与目标

• 为解决深度学习中的可解释性鸿沟，提出统一的几何框架。
• 将深度网络确立为连续几何流，类比于图像配准和量子演化等物理过程。
• 探讨曲率和纤维丛等几何结构如何解释泛化、对抗性样本和过参数化现象。
• 研究几何在优化、控制及通过耦合深度网络实现的意识中的作用。
• 通过基于计算复杂性的最小作用量原理，统一深度学习与基础物理学。

提出的方法

• 将深度网络建模为流形上的连续时间流 $ g_t $，其中 $ g_0 = \text{Id} $，$ g_1 = g $，表示完整的变换过程。
• 利用Fisher-Rao度量在网络参数空间上定义黎曼几何，使优化路径具有测地线解释。
• 建立深度网络与物理系统的类比：图像配准（测地流）、张量网络（纠缠）以及AdS/CFT对偶性。
• 将训练表述为在弯曲流形中的测地线问题，其中损失最小化对应于计算复杂性的最小化。
• 应用量子计算与哈密顿动力学的概念，将网络演化建模为几何设定下的幺正操作。
• 引入独立耦合系统（如用于意识）的概念，作为通过纤维丛连接多个网络的更高级几何结构。

实验结果

研究问题

• RQ1 深度网络如何被解释为黎曼流形中的几何流，这对它们的泛化意味着什么？
• RQ2 深度网络中出现的Fisher-Rao度量的曲率是什么？它与对抗鲁棒性有何关联？
• RQ3 是否可以使用学习到的度量，将强化学习与模仿学习表述为几何优化问题？
• RQ4 过参数化如何影响参数空间的几何结构，其在训练稳定性中扮演何种角色？
• RQ5 多个深度网络的耦合能否被建模为几何结构（如纤维丛）？这是否与意识有关？

主要发现

• 深度网络可被建模为由Fisher-Rao度量定义的黎曼流形中的测地流，表明优化路径对应于最小计算复杂性。
• 卷积神经网络（CNN）的几何结构可能表现出负曲率，类似于MERA和AdS/CFT，或可解释对抗性样本的存在。
• 过参数化对应于将变换嵌入更高维群 $ G $，可能增强优化中的灵活性与稳定性。
• 图像配准与深度网络具有共同的几何结构，二者均为最小化度量空间中路径长度的最优控制问题。
• 多个深度网络的耦合可被建模为具有独立潜在空间的纤维丛，暗示意识等复杂现象可能具有几何起源。
• 该框架表明，物理定律源于深度网络几何结构与宇宙信息模式之间的对应关系，与基于计算复杂性的最小作用量原理一致。