[论文解读] From Two-Class Linear Discriminant Analysis to Interpretable Multilayer Perceptron Design

Ruiyuan Lin, Zhiruo Zhou+3 more|arXiv (Cornell University)|Sep 9, 2020

Blind Source Separation Techniques参考文献 43被引用 9

一句话总结

本文提出了一种前馈、可解释的多层感知机（FF-MLP）设计，该设计将两分类线性判别分析（LDA）推广至多分类、多模态高斯数据。通过将网络结构划分为三个阶段——通过并行LDA进行半空间划分、区域隔离和类别特定合并，该方法在单次前向传播中确定网络架构与权重，无需反向传播，从而相比传统BP-MLP实现了更快的训练速度和更高的可解释性。

ABSTRACT

A closed-form solution exists in two-class linear discriminant analysis (LDA), which discriminates two Gaussian-distributed classes in a multi-dimensional feature space. In this work, we interpret the multilayer perceptron (MLP) as a generalization of a two-class LDA system so that it can handle an input composed by multiple Gaussian modalities belonging to multiple classes. Besides input layer $l_{in}$ and output layer $l_{out}$, the MLP of interest consists of two intermediate layers, $l_1$ and $l_2$. We propose a feedforward design that has three stages: 1) from $l_{in}$ to $l_1$: half-space partitionings accomplished by multiple parallel LDAs, 2) from $l_1$ to $l_2$: subspace isolation where one Gaussian modality is represented by one neuron, 3) from $l_2$ to $l_{out}$: class-wise subspace mergence, where each Gaussian modality is connected to its target class. Through this process, we present an automatic MLP design that can specify the network architecture (i.e., the layer number and the neuron number at a layer) and all filter weights in a feedforward one-pass fashion. This design can be generalized to an arbitrary distribution by leveraging the Gaussian mixture model (GMM). Experiments are conducted to compare the performance of the traditional backpropagation-based MLP (BP-MLP) and the new feedforward MLP (FF-MLP).

研究动机与目标

• 为解决当前多层感知机（MLP）架构与权重设计缺乏理论指导、依赖耗时的试错法的问题。
• 建立两分类线性判别分析（LDA）与多分类MLP之间的正式联系，以提升可解释性与设计效率。
• 开发一种单次通过、前馈的方法，无需反向传播或超参数调优，即可确定网络深度、神经元数量及所有滤波器权重。
• 证明所提出的前馈MLP（FF-MLP）在设计速度、训练时间与可解释性方面优于传统反向传播MLP（BP-MLP）。
• 通过高斯混合模型（GMMs）将框架扩展至一般数据分布，同时保持解析可处理性。

提出的方法

• 通过将每个高斯模态建模为输入空间中一个独立的类别区域，将两分类LDA推广至多分类、多模态数据。
• 第一阶段使用并行的两分类LDA系统将输入空间划分为多个半子空间，形成相互交叉的感兴趣区域。
• 第二阶段通过第二个隐藏层隔离每个区域，其中每个神经元对应一个高斯模态，仅在其指定区域内被激活。
• 第三阶段通过输出层中针对类别的连接，将每个隔离区域映射到其目标类别，实现直接分类。
• 整个网络通过闭式LDA解与ReLU激活函数，以单次前向传播方式构建，以解决级联层中的符号混淆问题。
• 使用高斯混合模型（GMMs）近似任意数据分布，使方法可推广至非严格高斯数据。

实验结果

研究问题

• RQ1 能否系统性地将两分类线性判别分析推广为多层感知机构架设计的理论基础？
• RQ2 能否以单次通过、前馈方式构建多层感知机，实现无需反向传播的架构与权重确定？
• RQ3 所提出的前馈MLP（FF-MLP）是否在可解释性与训练速度方面优于传统反向传播MLP（BP-MLP）？
• RQ4 在不同数据分布下，FF-MLP与BP-MLP在准确率、训练时间与设计效率方面的性能表现如何比较？
• RQ5 FF-MLP框架能否通过高斯混合模型（GMMs）扩展至非高斯数据，同时保持解析可处理性与可解释性？

主要发现

• 所提出的FF-MLP设计在单次前向传播中确定了每层的神经元数量及所有滤波器权重，消除了对迭代反向传播或超参数调优的需求。
• 实验表明，FF-MLP在分类准确率上达到与BP-MLP相当或更优，同时显著缩短了训练与设计时间。
• 该方法提供了明确、可解释的中间层，对应于不同的数据区域与类别关联，增强了模型透明度。
• ReLU激活函数有效解决了级联层中的符号混淆问题，实现了跨阶段稳定且可解释的信号传播。
• 通过高斯混合模型（GMMs），该框架可推广至任意分布，使复杂、多模态数据（具有不同协方差结构）的建模成为可能。
• 尽管未使用反向传播，FF-MLP仍表现出强劲性能，表明对于紧凑网络，端到端优化可能并非必要。