[논문 리뷰] Autoencoders

Dor Bank, Noam Koenigstein외 1명|arXiv (Cornell University)|2020. 03. 12.

Time Series Analysis and Forecasting인용 수 123

한 줄 요약

오토인코더 유형의 포괄적 고찰, 정규화 방법, 변분 오토인코더, 그리고 그것들의 광범위한 응용과 고급 확장.

ABSTRACT

An autoencoder is a specific type of a neural network, which is mainly designed to encode the input into a compressed and meaningful representation, and then decode it back such that the reconstructed input is similar as possible to the original one. This chapter surveys the different types of autoencoders that are mainly used today. It also describes various applications and use-cases of autoencoders.

연구 동기 및 목표

• 오토인코더 프레임워크를 정의하고 인코더/디코더 목표를 형식화한다.
• 학습이 항등 함수를 학습하는 것을 방지하고 의미 있는 표현을 촉진하는 정규화 전략을 설명한다.
• 변분 오토인코더를 도입하고 변분 추론을 통한 최적화를 설명한다.
• 생성, 분류, 클러스터링, 이상 탐지 및 추천 시스템에 걸친 오토인코더의 일반적 응용을 조사한다.
• 고급 오토인코더 기법과 그것의 GANs 및 다른 생성 모델들과의 관계를 논의한다.

제안 방법

• 인코더 A와 디코더 B로 재구성 손실을 최소화하는 기본 오토인코더 목표를 설명한다.
• 항등 매핑을 피하고 의미 있는 잠재 표현을 촉진하기 위한 병목 및 규제화를 논의한다.
• 노이즈 제거, 희소성, 수축적 오토인코더를 규제Scheme로 제시하고 설명한다.
• 증거 하한(Evidence Lower Bound)와 재매개화(trick)로 gradient 기반 최적화를 수행하는 변분 오토인코더를 도입한다.
• 연관되지 않은(beta) 계수를 활용하여 잠재 표현의 독립성을 촉진하고 해석 가능한 요인을 유도하는 disentangled 오토인코더를 설명한다.
• 재매개화 트릭과 미니배치 확률적 최적화를 통한 실용적 학습을 개요한다.

실험 결과

연구 질문

• RQ1 정규화 기법이 학습된 표현의 품질과 일반화에 어떤 영향을 미치는가?
• RQ2 표준, 노이즈 제거, 수축적, 희소한 오토인코더가 의미 있는 잠재 공간을 학습하는 데 어떤 차이가 있는가?
• RQ3 변분 및 disentangled 오토인코더가 확률적 잠재 표현을 어떻게 형식화하고 최적화하는가?
• RQ4 생성, 분류, 클러스터링, 이상 탐지에 걸친 오토인코더의 주요 응용은 무엇인가?
• RQ5 오토인코더를 GAN 기반 생성 모델과 어떻게 통합하거나 대조할 수 있는가?

주요 결과

• 정규화 기법은 사소한 항등 매핑을 방지하고 의미 있는 잠재 표현을 제공한다.
• 노이즈 제거, 희소성, 수축적 오토인코더는 학습된 특징에 대한 강건성과 강건성 기반 규제화를 제공한다.
• 변분 오토인코더는 확률적 프레임워크와 더 낮은 바운드Objective, 그리고 확장 가능한 학습을 위한 재매개화 트릭을 도입한다.
• disentangled 오토인코더는 베타 요인을 활용하여 상호 연관성이 적고 해석 가능한 요인을 촉진한다.
• 오토인코더는 생성 모델로서의 활용, 분류나 클러스터링을 위한 특징 추출기, 이상 탐지 및 추천 시스템에의 적용 가능성이 있다.
• GANs 및 적대적 학습과의 고급 하이브리드가 VAE 출력의 흐림 현상 및 GAN의 모드 붕괴와 같은 한계를 다룬다.