[論文レビュー] From Two-Class Linear Discriminant Analysis to Interpretable Multilayer Perceptron Design

Ruiyuan Lin, Zhiruo Zhou+3 more|arXiv (Cornell University)|Sep 9, 2020

Blind Source Separation Techniques参考文献 43被引用数 9

ひとこと要約

本稿では、2クラス線形判別分析（LDA）を多クラス・マルチモーダルなガウス分布に一般化する、フィードフォワードで解釈可能な多層パーセプトロン（FF-MLP）の設計を提案する。3段階の構造—並列LDAによる半空間分割、領域の分離、クラス固有の統合—により、バックプロパゲーションを用いずに1回のフォワードパスでアーキテクチャと重みを決定し、従来のBP-MLPと比較して訓練が高速化され、解釈性が向上する。

ABSTRACT

A closed-form solution exists in two-class linear discriminant analysis (LDA), which discriminates two Gaussian-distributed classes in a multi-dimensional feature space. In this work, we interpret the multilayer perceptron (MLP) as a generalization of a two-class LDA system so that it can handle an input composed by multiple Gaussian modalities belonging to multiple classes. Besides input layer $l_{in}$ and output layer $l_{out}$, the MLP of interest consists of two intermediate layers, $l_1$ and $l_2$. We propose a feedforward design that has three stages: 1) from $l_{in}$ to $l_1$: half-space partitionings accomplished by multiple parallel LDAs, 2) from $l_1$ to $l_2$: subspace isolation where one Gaussian modality is represented by one neuron, 3) from $l_2$ to $l_{out}$: class-wise subspace mergence, where each Gaussian modality is connected to its target class. Through this process, we present an automatic MLP design that can specify the network architecture (i.e., the layer number and the neuron number at a layer) and all filter weights in a feedforward one-pass fashion. This design can be generalized to an arbitrary distribution by leveraging the Gaussian mixture model (GMM). Experiments are conducted to compare the performance of the traditional backpropagation-based MLP (BP-MLP) and the new feedforward MLP (FF-MLP).

研究の動機と目的

• 現在、多層パーセプトロン（MLP）のアーキテクチャと重み設計に理論的指針が不足しており、時間のかかる試行錯誤に依存しているという問題に取り組む。
• 2クラス線形判別分析（LDA）と多クラスMLPとの間の明示的な関係を確立し、解釈性と設計効率を向上させる。
• バックプロパゲーションやハイパーパrameterチューニングを必要とせず、ネットワークの深さ、ニューロン数、およびすべてのフィルタ重みを1パスのフィードフォワードで決定する手法を開発する。
• 提案されたフィードフォワードMLP（FF-MLP）が、従来のバックプロパゲーションベースのMLP（BP-MLP）と比較して、設計速度、訓練時間、解釈性の面で優れていることを示す。
• 任意のデータ分布への一般化をGaussian Mixture Models（GMMs）を用いて行いながら、解析的取り扱いのしやすさを維持する。

提案手法

• 本手法は、各ガウスモダリティを入力空間上の別個のクラス領域としてモデル化することで、2クラスLDAを多クラス・マルチモーダルなデータに一般化する。
• 段階1では、並列2クラスLDAシステムを用いて入力空間を複数の半部分空間に分割し、関心領域の重複する領域を形成する。
• 段階2では、2番目の隠れ層を用いて各領域を分離し、各ニューロンが1つのガウスモダリティに対応し、その指定された領域内でのみ活性化される。
• 段階3では、出力層のクラスごとの接続により、各分離された領域をそのターゲットクラスにマッピングし、直接分類を可能にする。
• ネットワーク全体は、閉形式のLDA解とReLU活性化関数を用いて、1回のフォワードパスで構築され、段階的な層の符号の曇りを解消する。
• 任意のデータ分布の近似にGaussian Mixture Models（GMMs）を用い、厳密なガウス分布に限定されない一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2クラス線形判別分析を、多層パーセプトロン設計の理論的基盤として体系的に一般化できるか？
• RQ2 バックプロパゲーションを用いずに、アーキテクチャと重みを1パスのフィードフォワードで決定できる多層パーセプトロンを構築できるか？
• RQ3 提案されたフィードフォワードMLP（FF-MLP）は、従来のバックプロパゲーションベースのMLP（BP-MLP）と比較して、より優れた解釈性と高速な訓練を達成できるか？
• RQ4 FF-MLPの性能は、異なるデータ分布において、精度、訓練時間、設計効率の観点でBP-MLPと比較してどうなるか？
• RQ5 Gaussian Mixture Models（GMMs）を用いて、非ガウス分布へのFF-MLPフレームワークを拡張できるか？ また、解析的取り扱いのしやすさと解釈性を維持できるか？

主な発見

• 提案されたFF-MLP設計は、1回のフォワードパスで各層のニューロン数とすべてのフィルタ重みを決定し、反復的なバックプロパゲーションやハイパーパrameterチューニングの必要性を排除する。
• 実験の結果、FF-MLPはBP-MLPと同等または優れた分類精度を達成するとともに、訓練時間と設計時間の大幅な短縮が確認された。
• 明示的で解釈可能な中間層が得られ、それらは明確に分離されたデータ領域とクラスの関連を表しており、モデルの透明性を向上させる。
• ReLU活性化関数の使用により、段階的な層における符号の曇りが解消され、各段階を跨る安定的で解釈可能な信号伝搬が可能になった。
• Gaussian Mixture Models（GMMs）を用いることで、複雑で多様な共分散構造を持つマルチモーダルデータのモデリングが可能になり、任意の分布への一般化が実現した。
• バックプロパゲーションが存在しないにもかかわらず、FF-MLPは強力な性能を発揮した。これは、コンパクトなネットワークでは、エンドツーエンド最適化が必ずしも必要ではない可能性を示唆している。