[논문 리뷰] Performance Analysis of Semi-supervised Learning in the Small-data Regime using VAEs

Varun Mannam, Arman Kazemi|arXiv (Cornell University)|2020. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 9

한 줄 요약

이 논문은 소규모 데이터 환경에서 분류 성능을 향상시키기 위해 변분 오토인코더(Variational Autoencoders, VAEs)를 사용하는 준지도 학습 프레임워크를 제안한다. 비라벨링된 CIFAR-10 데이터를 사용해 VAE를 사전 훈련하여 압축되고 확률적인 잠재 표현을 학습한 후, 제한된 수의 레이블된 데이터로 소형 분류기를 미세 조정함으로써 성능을 향상시킨다. 이 방법은 10,000차원의 잠재 공간에서 최고의 정확도를 기록하며, 이는 6,400차원보다는 낮고 14,400차원보다는 높은 성능을 보인다.

ABSTRACT

Extracting large amounts of data from biological samples is not feasible due to radiation issues, and image processing in the small-data regime is one of the critical challenges when working with a limited amount of data. In this work, we applied an existing algorithm named Variational Auto Encoder (VAE) that pre-trains a latent space representation of the data to capture the features in a lower-dimension for the small-data regime input. The fine-tuned latent space provides constant weights that are useful for classification. Here we will present the performance analysis of the VAE algorithm with different latent space sizes in the semi-supervised learning using the CIFAR-10 dataset.

연구 동기 및 목표

• 방사선 노출에 의해 데이터 수집이 제한되는 생물의학 영상 분야에서 레이블된 데이터가 부족할 경우 깊이 신경망의 정확도가 낮아지는 문제를 해결한다.
• 기존 오토인코더와 RBM의 한계를 극복하기 위해, 의미 있는 특징을 포괄하는 확률적이고 저차원의 잠재 표현을 학습하는 데 VAE를 사용한다.
• CIFAR-10 데이터셋을 사용하여 잠재 공간 크기의 변화가 준지도 학습 분류 성능에 미치는 영향을 조사한다.
• 작은 레이블된 데이터 세트에서 직접 훈련하는 것과 비교해, VAE가 학습한 잠재 표현을 기반으로 소형 분류기를 미세 조정하면 정확도가 크게 향상됨을 보여준다.
• 소규모 데이터 시나리오에서 표현 능력과 모델 복잡도의 균형을 이루는 최적의 잠재 차원을 규명한다.

제안 방법

• 밀도 네트워크 아키텍처를 사용해 전체 CIFAR-10 훈련 세트(50,000장의 이미지)를 대상으로 VAE를 사전 훈련하여, 압축되고 확률적인 잠재 표현을 학습한다.
• 스토캐스틱 잠재 변수를 통한 역전파를 가능하게 하기 위해 재생성 기법을 사용하여 VAE의 엔드 투 엔드 훈련을 허용한다.
• 사전 훈련 후 인코더 및 디코더 가중치를 고정하여 학습된 잠재 표현을 유지하고, 미세 조정 중 치명적인 기억 상실을 방지한다.
• VAE 임bedded 특징을 입력으로 사용해, 소규모 레이블된 CIFAR-10 데이터 세트에서 소형 완전 연결 신경망을 미세 조정한다.
• 사전 훈련 및 미세 조정 단계 모두에 Adam 옵timizer를 사용하며, 학습률은 1e-4, 가중치 감쇠는 1e-3로 설정한다.
• 사전 훈련 동안 재구성 손실(MSE)을, 미세 조정 동안 교차 엔트로피 손실을 사용하며, 검증 RMSE 기반 조기 정지 전략을 적용한다.

실험 결과

연구 질문

• RQ1 VAE의 잠재 공간 크기가 소규모 데이터 환경에서 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ2 제한된 레이블된 데이터를 가진 준지도 학습 환경에서 가장 높은 분류 정확도를 달성하기 위해 최적의 잠재 차원은 무엇인가?
• RQ3 모든 이용 가능한 데이터(레이블된 및 비레이블된)를 사용해 VAE를 사전 훈련하는 것이, 소규모 레이블된 데이터 세트에서 직접 분류기를 훈련하는 것보다 후행 분류 성능을 향상시키는가?
• RQ4 표현 능력(더 큰 잠재 공간)과 모델 복잡도(과적합 위험) 사이의 트레이드오���이 분류 정확도에 어떤 영향을 미치는가?
• RQ5 고정된 사전 훈련된 VAE 인코더가 소규모 데이터 환경에서 경량 분류기를 미세 조정하기 위한 효과적인 특징 추출기로 기능할 수 있는가?

주요 결과

• 모든 테스트된 잠재 공간 크기(6,400, 10,000, 14,400)에 대해 VAE 사전 훈련 과정은 약 50 에포크 만에 수렴하였으며, 모든 설정에서 유사한 재구성 손실을 기록하였다.
• 잠재 공간 크기의 차이에도 불구하고 재구성된 이미지 밀도 추정치는 실제 입력 데이터에 가까웠으며, 10,000차원의 잠재 공간에서 진짜 데이터 분포와 가장 유사한 결과를 보였다.
• 미세 조정 단계에서 10,000차원의 잠재 공간을 사용한 모델이 가장 높은 분류 정확도를 기록했으며, 6,400차원 및 14,400차원 버전을 모두 앞섰다.
• 작은 잠재 공간(6,400)은 특징 표현 능력 부족으로 인해 과소적합이 발생했고, 더 큰 공간(14,400)은 모델 복잡도 증가로 인해 더 높은 테스트 오차를 기록했다. 이는 과적합의 가능성이 높다는 것을 시사한다.
• 잠재 공간 크기 간 성능 격차는 주로 미세 조정 단계에서 두드러졌으며, 이는 잠재 표현의 품질이 후행 분류 성능에 직접적인 영향을 미친다는 것을 의미한다.
• 결과는 표현 능력과 일반화 능력의 균형이 매우 중요하며, CIFAR-10 소규모 데이터 환경에서는 10,000차원의 잠재 차원이 최적의 트레이드오프를 제공한다는 점을 시사한다.