[논문 리뷰] From Two-Class Linear Discriminant Analysis to Interpretable Multilayer Perceptron Design

Ruiyuan Lin, Zhiruo Zhou외 3명|arXiv (Cornell University)|2020. 09. 09.

Blind Source Separation Techniques참고 문헌 43인용 수 9

한 줄 요약

이 논문은 두 클래스 선형 판별 분석(LDA)을 다중 클래스, 다중 모달 가우시안 데이터로 일반화하는 피드포워드 해석 가능한 다층 퍼셉트론(FF-MLP) 설계를 제안한다. 네트워크를 세 단계로 구성—반평면 분할(병렬 LDA를 통한), 영역 고립, 클래스별 병합—이를 통해 역전파 없이 단일 포워드 패스로 아키텍처와 가중치를 결정함으로써 기존의 BP-MLP에 비해 더 빠른 학습과 향상된 해석 가능성 달성.

ABSTRACT

A closed-form solution exists in two-class linear discriminant analysis (LDA), which discriminates two Gaussian-distributed classes in a multi-dimensional feature space. In this work, we interpret the multilayer perceptron (MLP) as a generalization of a two-class LDA system so that it can handle an input composed by multiple Gaussian modalities belonging to multiple classes. Besides input layer $l_{in}$ and output layer $l_{out}$, the MLP of interest consists of two intermediate layers, $l_1$ and $l_2$. We propose a feedforward design that has three stages: 1) from $l_{in}$ to $l_1$: half-space partitionings accomplished by multiple parallel LDAs, 2) from $l_1$ to $l_2$: subspace isolation where one Gaussian modality is represented by one neuron, 3) from $l_2$ to $l_{out}$: class-wise subspace mergence, where each Gaussian modality is connected to its target class. Through this process, we present an automatic MLP design that can specify the network architecture (i.e., the layer number and the neuron number at a layer) and all filter weights in a feedforward one-pass fashion. This design can be generalized to an arbitrary distribution by leveraging the Gaussian mixture model (GMM). Experiments are conducted to compare the performance of the traditional backpropagation-based MLP (BP-MLP) and the new feedforward MLP (FF-MLP).

연구 동기 및 목표

• 현재 시험·오차 방법에 의존하는 다층 퍼셉트론(MLP) 아키텍처 및 가중치 설계에 이론적 지침이 부족한 문제를 해결하기 위해.
• 두 클래스 선형 판별 분석(LDA)과 다중 클래스 MLP 간의 공식적 연결을 수립하여 해석 가능성과 설계 효율성을 향상시키기 위해.
• 역전파 또는 하이퍼파rameter 튜닝 없이 네트워크 깊이, 뉴런 수, 모든 필터 가중치를 한 번의 패스로 결정하는 피드포워드 방법을 개발하기 위해.
• 제안된 피드포워드 MLP(FF-MLP)가 기존의 역전파 기반 MLP(BP-MLP)에 비해 설계 속도, 학습 시간, 해석 가능성에서 뛰어난 성능을 보임을 입증하기 위해.
• 해석 가능성과 분석 가능성을 유지하면서 일반 데이터 분포로의 확장을 위해 가우시안 믹스처 모델(GMMs)을 사용하여 프레임워크를 확장하기 위해.

제안 방법

• 각 가우시안 모달리티를 입력 공간 내 별도의 클래스 영역으로 모델링함으로써 두 클래스 LDA를 다중 클래스, 다중 모달 데이터로 일반화한다.
• 1단계에서는 병렬 두 클래스 LDA 시스템을 사용해 입력 공간을 다수의 반하나면으로 분할하여 관심 영역이 겹치는 영역을 형성한다.
• 2단계에서는 두 번째 은닉층을 통해 각 영역을 고립시키며, 각 뉴런은 하나의 가우시안 모달리티에 대응하고, 해당 영역 내에서만 활성화된다.
• 3단계에서는 출력층의 클래스별 연결을 통해 각 고립된 영역을 그에 해당하는 목표 클래스로 매핑함으로써 직접 분류를 가능하게 한다.
• 모든 네트워크는 폐쇄형 LDA 해법과 ReLU 활성화 함수를 사용해 단일 포워드 패스로 구성되며, 연결된 계층 간의 부호 혼동 문제를 해결한다.
• 가우시안 믹스처 모델(GMMs)을 사용해 임의의 데이터 분포를 근사함으로써, 엄밀히 가우시안 데이터를 초월한 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 두 클래스 선형 판별 분석을 체계적으로 다층 퍼셉트론 설계의 이론적 기초로 일반화할 수 있는가?
• RQ2 역전파 없이 아키텍처와 가중치를 한 번의 패스로 결정하는 다층 퍼셉트론을 설계할 수 있는가?
• RQ3 제안된 피드포워드 MLP(FF-MLP)는 기존의 역전파 기반 MLP(BP-MLP)보다 더 뛰어난 해석 가능성과 더 빠른 학습을 달성하는가?
• RQ4 FF-MLP의 성능은 정확도, 학습 시간, 설계 효율성 측면에서 다양한 데이터 분포에서 BP-MLP와 비교해 어떻게 되는가?
• RQ5 가우시안 믹스처 모델을 사용해 비가우시안 데이터로의 확장을 FF-MLP 프레임워크에 적용할 수 있는가? 이때 해석 가능성과 분석 가능성을 유지할 수 있는가?

주요 결과

• 제안된 FF-MLP 설계는 역전파나 하이퍼파rameter 튜닝 없이 단일 포워드 패스로 각 레이어의 뉴런 수와 모든 필터 가중치를 결정한다.
• 실험 결과, FF-MLP는 BP-MLP와 유사하거나 더 높은 분류 정확도를 달성하면서도 학습 및 설계 시간을 크게 단축시킨다.
• 해당 방법은 명시적이고 해석 가능한 중간 레이어를 제공하며, 이는 별개의 데이터 영역과 클래스 연관성을 반영하여 모델의 투명성을 향상시킨다.
• ReLU 활성화 함수의 사용은 연결된 계층 간의 부호 혼동 문제를 해결하여 안정적이고 해석 가능한 신호 전파를 가능하게 한다.
• 가우시안 믹스처 모델(GMMs)을 통해 임의의 분포로 일반화되며, 다양한 공분산 구조를 가진 복잡한 다중 모달 데이터를 모델링할 수 있다.
• 역전파 없이도 FF-MLP는 뛰어난 성능을 달성함으로써, 작고 컴팩트한 네트워크에서는 종단 간 최적화가 반드시 필요하지 않다는 것을 시사한다.