[논문 리뷰] Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms

Kanishka Tyagi, Chinmay Rane외 1명|arXiv (Cornell University)|2023. 08. 11.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 입력 가지치기, 출력 강화 및 스케일링을 포함한 2차 방법을 사용하여 일반화 선형 분류기와 심층 자동 인코더를 위한 다단계 학습 프레임워크를 도입하여 데스크탑 자원에서 빠르고 효과적인 모델을 구축한다.

ABSTRACT

We propose a multi-step training method for designing generalized linear classifiers. First, an initial multi-class linear classifier is found through regression. Then validation error is minimized by pruning of unnecessary inputs. Simultaneously, desired outputs are improved via a method similar to the Ho-Kashyap rule. Next, the output discriminants are scaled to be net functions of sigmoidal output units in a generalized linear classifier. We then develop a family of batch training algorithm for the multi layer perceptron that optimizes its hidden layer size and number of training epochs. Next, we combine pruning with a growing approach. Later, the input units are scaled to be the net function of the sigmoidal output units that are then feed into as input to the MLP. We then propose resulting improvements in each of the deep learning blocks thereby improving the overall performance of the deep architecture. We discuss the principles and formulation regarding learning algorithms for deep autoencoders. We investigate several problems in deep autoencoders networks including training issues, the theoretical, mathematical and experimental justification that the networks are linear, optimizing the number of hidden units in each layer and determining the depth of the deep learning model. A direct implication of the current work is the ability to construct fast deep learning models using desktop level computational resources. This, in our opinion, promotes our design philosophy of building small but powerful algorithms. Performance gains are demonstrated at each step. Using widely available datasets, the final network's ten fold testing error is shown to be less than that of several other linear, generalized linear classifiers, multi layer perceptron and deep learners reported in the literature.

연구 동기 및 목표

• 데스크탑 리소스에서 학습이 효율적인 일반화 선형 분류기와 심층 자동 인코더의 설계에 동기를 부여한다.
• 회귀 기반 초기화, 가지치기, 출력 형상화 및 스케일링을 결합한 다단계 학습 파이프라인을 개발하여 판별력을 향상시킨다.
• 심층 자동 인코더의 선형성, 은닉 유닛 최적화 및 깊이에 대한 학습 문제와 이론적/경험적 정당성을 조사한다.

제안 방법

• 회귀를 통해 초기 다중 클래스 선형 분류기를 찾는다.
• 불필요한 입력을 가지치기로 검증 오차를 최소화한다.
• Ho-Kashyap와 유사한 방법으로 출력을 개선한다.
• 출력 판별값을 시그모이드 출력 유닛의 순 함수로 스케일링한다.
• 은닉층 크기와 학습 시기를 최적화하기 위해 MLP용 배치 학습 알고리즘을 개발한다.
• 가지치기와 증가 방식의 접근을 결합하고 입력 유닛을 MLP에 공급하도록 스케일한다.
• 심층 자동 인코더의 학습 알고리즘 원칙을 논의하고 선형성, 은닉 유닛 최적화 및 깊이에 대한 학습 문제, 이론 및 경험적 정당성을 다룬다.

실험 결과

연구 질문

• RQ1 가지치기와 입력/출력 스케일링이 일반화 선형 분류기와 심층 자동 인코더의 성능을 어떻게 향상시킬 수 있는가?
• RQ2 깊은 구조에서 MLP 은닉 유닛과 학습 에폭을 최적화하기 위한 효과적인 2차, 배치 기반 학습 체계는 무엇인가?
• RQ3 가지치기, 성장 및 스케일링이 심층 자동 인코더 학습의 깊이와 선형성 가정에 어떤 영향을 미치는가?
• RQ4 빠르고 데스크탑 자원 친화적인 학습이 다른 선형, 일반화 선형, MLP 및 심층 학습 접근법과 비교해 경쟁력 있거나 우수한 성능을 낼 수 있는가?

주요 결과

• 다단계 학습 방법은 일반화 선형 분류기와 심층 자동 인코더의 성능을 향상시킬 수 있다.
• 제안된 학습 과정의 각 단계에서 성능 향상이 입증된다.
• 최종 네트워크의 tenfold 테스트 오차는 문헌에 보고된 여러 다른 선형, 일반화 선형 분류기, MLP 및 심층 학습자들보다 작다.