[논문 리뷰] Deep Linear Discriminant Analysis

Matthias Dorfer, Rainer Kelz외 1명|arXiv (Cornell University)|2015. 11. 15.

Machine Learning and Data Classification참고 문헌 17인용 수 22

한 줄 요약

이 논문은 선형 판별 분석(LDA)을 종단간 목적으로 통합한 딥 뉴럴 네트워크 프레임워크인 딥 선형 판별 분석(DeepLDA)을 제안한다. 이는 선형적으로 분리 가능한 잠재 표현을 학습한다. 역전파를 통해 LDA 산란 행렬의 고유값 구조를 최적화함으로써 특징의 판별 능력을 향상시키며, MNIST와 CIFAR-10에서 최신 기술 수준의 성능을 달성하고, 감독 설정에서 STL-10에서 교차 엔트로피 학습보다 9퍼센트 이상 높은 성능을 기록한다.

ABSTRACT

We introduce Deep Linear Discriminant Analysis (DeepLDA) which learns linearly separable latent representations in an end-to-end fashion. Classic LDA extracts features which preserve class separability and is used for dimensionality reduction for many classification problems. The central idea of this paper is to put LDA on top of a deep neural network. This can be seen as a non-linear extension of classic LDA. Instead of maximizing the likelihood of target labels for individual samples, we propose an objective function that pushes the network to produce feature distributions which: (a) have low variance within the same class and (b) high variance between different classes. Our objective is derived from the general LDA eigenvalue problem and still allows to train with stochastic gradient descent and back-propagation. For evaluation we test our approach on three different benchmark datasets (MNIST, CIFAR-10 and STL-10). DeepLDA produces competitive results on MNIST and CIFAR-10 and outperforms a network trained with categorical cross entropy (same architecture) on a supervised setting of STL-10.

연구 동기 및 목표

• 선형 판별 분석(LDA)의 판별 특성을 활용하여 종단간 표현 학습을 위한 딥 러닝 프레임워크를 개발하는 것.
• 기존 표준 LDA가 큰 반류 간 거리를 강조하면서 인접한 클래스 혼동을 악화시키는 한계를 해결하기 위해 목적 함수를 재구성하는 것.
• 딥 뉴럴 네트워크가 특징 공간의 모든 차원에서 균형 잡힌 판별 분산을 갖는 잠재 표현을 학습할 수 있도록 하는 것.
• 표준 교차 엔트로피 손실이 아닌 LDA 기반 목적 함수를 최적화하여 클래스 분리도를 향상시킴으로써 분류 성능을 향상시키는 것.
• MNIST, CIFAR-10 및 STL-10과 같은 표준 벤치마크 데이터셋에서 방법의 효과성을 검증하는 것.

제안 방법

• 최종 레이어의 특징이 일반화된 LDA 고유값 문제를 목적 함수로 사용하는 딥 뉴럴 네트워크를 제안한다.
• 목적 함수는 LDA 고유값 문제에서 유도된 반류 간 산란 대 내류 간 산란의 비율을 최대화하여 내류 분산은 낮추고 반류 분산은 높이도록 한다.
• 손실 함수는 미분 가능하며 경사 하강법을 통해 네트워크 전반에 역전파되며, 확률적 경사 하강법을 사용한 종단간 학습이 가능하다.
• 고유구조 최적화를 직접 수행함으로써 히وري스틱 가중치 설정을 피하고, 판별 분산이 모든 잠재 차원에 균형 있게 분포되도록 보장한다.
• 모든 실험에서 공통된 아키텍처를 갖는 딥 네트워크에 적용되며, CCE와 DeepLDA 간 유일한 차이점은 손실 함수 뿐이다.
• 세 가지 데이터셋(MNIST, CIFAR-10, STL-10)에서 평가되며, 이미지 해상도와 고유값 역학에 대한 분석 연구가 포함되어 있다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에 LDA 고유값 최적화 문제를 통합하면 특징의 판별 능력과 분류 성능이 향상되는가?
• RQ2 다양한 데이터셋과 이미지 해상도에서 표준 카테고리 교차 엔트로피 학습에 비해 DeepLDA의 일반화 능력과 강건성은 어떻게 다른가?
• RQ3 제안된 방법은 표준 학습 대비 잠재 차원 간 판별 분산을 더 균형 있게 분포시키는가?
• RQ4 입력 이미지 크기가 DeepLDA 성능에 어떤 영향을 미치며, 특히 STL-10와 같은 저자원 환경에서는 어떠한가?
• RQ5 DeepLDA에서 학습된 표현이 낮은 내류 분산과 높은 반류 분산을 갖는 것으로 기대하는 성질을 얼마나 잘 구현하는가?

주요 결과

• DeepLDA는 MNIST와 CIFAR-10에서 경쟁력 있는 분류 정확도를 달성하며 최신 기술 수준의 성능을 보여준다.
• STL-10 데이터셋에서 DeepLDA는 감독 설정 하에서 표준 교차 엔트로피 학습보다 테스트 세트 정확도가 9퍼센트 이상 높다.
• 이미지가 더 큰 경우(96×96)에서 성능이 가장 우수하며, 32×32로 축소된 이미지에서는 성능이 감소함을 보여, 입력 해상도에 의존하는 경향을 보인다.
• DeepLDA 표현의 고유값 구조는 CCE로 학습된 모델 대비 더 균형 잡힌 판별 분산 분포를 보인다.
• 학습 과정에서 설명된 판별 분산의 크기(고유값을 통해)가 분류 정확도와 강하게 상관관계를 보이며, 이는 목적 함수가 효과적임을 확인한다.
• 잠재 공간 표현의 시각화 결과는 DeepLDA가 내류 분산은 낮추고 반류 간 분리도는 높이는 특징을 학습함을 확인하며, LDA의 이론적 기대와 부합한다.