[论文解读] Kernel Mode Decomposition and programmable/interpretable regression networks

Houman Owhadi, Clint Scovel+1 more|arXiv (Cornell University)|Jul 19, 2019

Gaussian Processes and Bayesian Inference参考文献 109被引用 9

一句话总结

本文提出了一种基于核模式分解的可编程且可解释的回归网络，用于模式识别，通过高斯过程回归和协方差算子实现极小极大最优逼近。在正则性和分离性假设下，该方法在非平稳信号中实现了接近机器精度的模式恢复，并通过最优恢复、博弈论和高斯过程回归（GPR）与深度学习建立了理论联系。

ABSTRACT

Mode decomposition is a prototypical pattern recognition problem that can be addressed from the (a priori distinct) perspectives of numerical approximation, statistical inference and deep learning. Could its analysis through these combined perspectives be used as a Rosetta stone for deciphering mechanisms at play in deep learning? Motivated by this question we introduce programmable and interpretable regression networks for pattern recognition and address mode decomposition as a prototypical problem. The programming of these networks is achieved by assembling elementary modules decomposing and recomposing kernels and data. These elementary steps are repeated across levels of abstraction and interpreted from the equivalent perspectives of optimal recovery, game theory and Gaussian process regression (GPR). The prototypical mode/kernel decomposition module produces an optimal approximation $(w_1,w_2,\cdots,w_m)$ of an element $(v_1,v_2,\ldots,v_m)$ of a product of Hilbert subspaces of a common Hilbert space from the observation of the sum $v:=v_1+\cdots+v_m$. The prototypical mode/kernel recomposition module performs partial sums of the recovered modes $w_i$ based on the alignment between each recovered mode $w_i$ and the data $v$. We illustrate the proposed framework by programming regression networks approximating the modes $v_i= a_i(t)y_i\big(θ_i(t)\big)$ of a (possibly noisy) signal $\sum_i v_i$ when the amplitudes $a_i$, instantaneous phases $θ_i$ and periodic waveforms $y_i$ may all be unknown and show near machine precision recovery under regularity and separation assumptions on the instantaneous amplitudes $a_i$ and frequencies $\dotθ_i$. The structure of some of these networks share intriguing similarities with convolutional neural networks while being interpretable, programmable and amenable to theoretical analysis.

研究动机与目标

• 开发一种可解释且可编程的回归网络框架，连接数值逼近、统计推断与深度学习。
• 将模式分解作为典型的模式识别问题，利用希尔伯特空间中的极小极大最优恢复方法进行处理。
• 通过模块化、面向对象的设计，实现对类似神经网络架构的理论分析与收敛性保证。
• 提供类似罗塞塔石碑的类比，通过核与模式分解来破译深度学习中的机制。
• 在振幅和频率满足正则性和频率分离条件的前提下，实现对非三角函数、非平稳信号模式的接近机器精度的恢复。

提出的方法

• 核心方法使用一个典型模式/核分解模块，通过希尔伯特空间乘积范数 $ \sum \|\cdot\|_{V_i}^2 $ 中的极小极大最优恢复，从其和 $ v = \sum v_i $ 近似恢复各分量 $ (v_1, \dots, v_m) $。
• 分解计算为 $ w_i = Q_i (\sum Q_j)^{-1} v $，其中 $ Q_i $ 是希尔伯特子空间 $ V_i $ 的协方差算子，且 $ w_i = \mathbb{E}[\xi_i \mid \sum \xi_j = v] $，对应于零均值高斯过程 $ \xi_i \sim \mathcal{N}(0, Q_i) $。
• 重构模块通过内积 $ \langle \cdot, \cdot \rangle_{S^{-1}} $ 指导恢复模式 $ w_i $ 和协方差算子 $ Q_i $ 的部分和，其中 $ S = \sum Q_i $，以实现与数据 $ v $ 的对齐。
• 该框架通过等价视角（最优恢复、博弈论、高斯过程回归（GPR））解释每一步操作。
• 该方法利用傅里叶分析与卷积恒等式处理周期函数，通过泊松核 $ \phi(s) = \frac{\sinh(\alpha^2/4)}{\cosh(\alpha^2/4) - \cos s} $ 推导核范数与协方差结构。
• 理论分析将该方法与稀疏时频表示及 $ L^1 $-最小化联系起来，在振幅和频率满足正则性与分离性假设时建立了收敛性。

实验结果

研究问题

• RQ1 能否将模式分解形式化为希尔伯特子空间上的极小极大最优恢复问题，从而实现理论分析与可解释性？
• RQ2 如何利用高斯过程回归与协方差算子构建用于模式识别的模块化、可编程回归网络？
• RQ3 此类网络的结构在多大程度上可与卷积神经网络相匹配，同时保持可解释性与可分析性？
• RQ4 在最小假设条件下，此类网络能否实现对非三角函数、非平稳信号模式的接近机器精度的恢复？
• RQ5 核模式分解、最优恢复、博弈论与深度学习之间存在何种理论联系？

主要发现

• 所提出的模式分解模块在乘积范数 $ \sum \|\cdot\|_{V_i}^2 $ 下，实现了从 $ v = \sum v_i $ 对 $ (v_1, \dots, v_m) $ 的极小极大最优恢复，误差受范数中相对误差的有界控制。
• 该分解在数学上等价于后验期望 $ \mathbb{E}[\xi_i \mid \sum \xi_j = v] $，从而与高斯过程中的贝叶斯推断建立联系。
• 当振幅 $ a_i $ 和频率 $ \dot{\theta}_i $ 满足正则性和分离性条件时，该框架可实现对信号模式 $ v_i = a_i(t) y_i(\theta_i(t)) $ 的接近机器精度的恢复。
• 网络结构在层次化特征学习方面与卷积神经网络相似，同时保持了可解释性与可分析性。
• 该方法通过与最优恢复、博弈论和GPR的联系，为深度学习建立了理论基础，为不确定性量化与收敛性分析提供了路径。
• 通过 $ \|y\|^2 = \int G(t,t') y(t) y^*(t') dt dt' $ 与 $ G(t,t') = 2\pi \frac{\sinh(\alpha^2/2)}{\cosh(\alpha^2/2) - \cos(t-t')} $ 推导核范数，验证了频率域中协方差算子的结构。