[논문 리뷰] Rapid Feature Learning with Stacked Linear Denoisers

Zhixiang Xu, Kilian Q. Weinberger외 1명|arXiv (Cornell University)|2011. 05. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 3

한 줄 요약

이 논문은 스택드 선형 노이즈 제거 autoencoder를 사용한 비반복적, 닫힘형 방법인 SLIDE를 제안한다. 이 방법은 몇 초 내로 상태의 최고 수준의 SVM 분류 성능를 달성하며, SdA보다 수천 배 빠르게 작동한다. 이는 네 가지 벤치마크 중 세 곳에서 SdA와 딥 네트워크를 모두 능가한다.

ABSTRACT

We investigate unsupervised pre-training of deep architectures as feature generators for "shallow" classifiers. Stacked Denoising Autoencoders (SdA), when used as feature pre-processing tools for SVM classification, can lead to significant improvements in accuracy - however, at the price of a substantial increase in computational cost. In this paper we create a simple algorithm which mimics the layer by layer training of SdAs. However, in contrast to SdAs, our algorithm requires no training through gradient descent as the parameters can be computed in closed-form. It can be implemented in less than 20 lines of MATLABTMand reduces the computation time from several hours to mere seconds. We show that our feature transformation reliably improves the results of SVM classification significantly on all our data sets - often outperforming SdAs and even deep neural networks in three out of four deep learning benchmarks.

연구 동기 및 목표

• 딥 러닝에서 스택드 노이즈 제거 autoencoder(SdA)의 높은 계산 비용 문제를 해결하기 위해.
• 반복적 기반 최적화를 피하는, 빠르고 확장 가능한 SdA의 대안을 개발하기 위해.
• 성능을 희생시키지 않고도 얕은 분류기(예: SVM)를 위한 효율적인 특징 생성을 가능하게 하기 위해.
• 비선형 최적화가 아닌 볼록하고 닫힘형 접근 방식이 표준 벤치마크에서 딥 러닝 모델의 정확도를 따라하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 입력을 손상시키고 선형 회귀를 통해 원래 입력을 복원하도록 학습하는 일차원 선형 노이즈 제거 autoencoder를 빌딩 블록으로 사용한다.
• 행렬 역행렬을 사용한 닫힘형 해를 통해 기울기 하강법이나 하이퍼파rameter 튜닝이 필요 없도록 autoencoder의 파라미터를 결정한다.
• 다중 노이즈 제거 autoencoder를 계층적으로 스택하여, 한 층의 출력을 다음 층의 입력으로 사용함으로써 SdA의 계층적 특징 학습을 모방한다.
• 최종 층의 출력을 SVM 분류의 입력 특징으로 사용하여 전체 경로 역전파를 생략한다.
• 노이즈 수준과 스택된 층의 수만이 하이퍼파라미터로 존재하여 설정을 단순화한다.
• 모든 알고리즘을 20줄 이내의 MATLAB 코드로 구현하여 거의 즉각적인 특징 변환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 닫힘형, 반복이 없는 방법이 스택드 노이즈 제거 autoencoder의 특징 학습 능력을 재현할 수 있는가?
• RQ2 이러한 방법이 표준 벤치마크에서 SdA와 딥 네트워크와 비교해 유사하거나 더 높은 분류 정확도를 달성할 수 있는가?
• RQ3 성능을 유지하거나 향상시키면서도 전처리 시간을 극적으로 줄일 수 있는가?
• RQ4 이 방법은 이미지 및 구조적 데이터를 포함한 다양한 데이터셋에 대해 잘 일반화되는가?

주요 결과

• SLIDE는 모든 데이터셋에서 SdA가 GPU에서 몇 시간이 걸리는 전처리 시간을 10초 이내로 단축시켜 최대 4,100배의 속도 향상을 달성한다.
• 네 가지 표준 벤치마크에서 SLIDE-SVM은 세 경우에서 SdA-SVM을 능가하고, MNIST에서는 동일한 성능을 기록한다. 특히 Rect-Images와 Convex에서 가장 낮은 오차율을 기록한다.
• Rect-Images에서 SLIDE-SVM은 11.93%의 오차율을 기록하여 SdA(12.18%)와 PCA(18.13%)를 모두 능가하고, Convex에서는 18.41%로 SdA(18.13%)와 PCA(18.13%)를 초월한다.
• SLIDE는 원시 특징(Raw-SVM)보다 항상 향상되며, 대부분의 데이터셋에서 화이트닝과 PCA보다도 뛰어나다.
• 이 방법의 단순성과 빠른 속도 덕분에 복잡한 딥 러닝 전처리 파이프라인의 실용적이고 고성능 대안이 될 수 있다.
• SLIDE의 성능는 다양한 데이터 유형에서 뛰어난 일관성과 강건성을 보이며, 전처리 도구로서의 강력한 일반화 능력과 유용성을 시사한다.