[논문 리뷰] Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification

Yuting Zhang, Kibok Lee외 1명|arXiv (Cornell University)|2016. 06. 21.

Advanced Neural Network Applications참고 문헌 36인용 수 56

한 줄 요약

이 논문은 대규모 지도 학습 신경망, 특히 16층의 VGGNet을 비지도 복원 목표를 통해 보강하여 이미지 분류 성능을 향상시키는 방법을 제안한다. 종단 간 확률적 경사 하강법을 사용해 분류 및 오토에인코더 구성 요소를 함께 훈련함으로써, ImageNet에서 상대적 top-1 정확도가 1.66% 향상되었으며, 이는 비지도 목표가 대규모 환경에서 지도 학습을 효과적으로 이끄는 데 기여할 수 있음을 보여준다.

ABSTRACT

Unsupervised learning and supervised learning are key research topics in deep learning. However, as high-capacity supervised neural networks trained with a large amount of labels have achieved remarkable success in many computer vision tasks, the availability of large-scale labeled images reduced the significance of unsupervised learning. Inspired by the recent trend toward revisiting the importance of unsupervised learning, we investigate joint supervised and unsupervised learning in a large-scale setting by augmenting existing neural networks with decoding pathways for reconstruction. First, we demonstrate that the intermediate activations of pretrained large-scale classification networks preserve almost all the information of input images except a portion of local spatial details. Then, by end-to-end training of the entire augmented architecture with the reconstructive objective, we show improvement of the network performance for supervised tasks. We evaluate several variants of autoencoders, including the recently proposed "what-where" autoencoder that uses the encoder pooling switches, to study the importance of the architecture design. Taking the 16-layer VGGNet trained under the ImageNet ILSVRC 2012 protocol as a strong baseline for image classification, our methods improve the validation-set accuracy by a noticeable margin.

연구 동기 및 목표

• 비지도 복원 목표가 대규모 지도 학습 이미지 분류에서 성능 향상에 기여할 수 있는지 조사하기 위해.
• 특히 풀링 스위치 연결을 사용하는 오토에인코더 아키텍처의 다양성이 특징 표현 향상에 미치는 영향을 평가하기 위해.
• 고용량 네트워크에서 비지도 사전 훈련 또는 복원 손실을 함께 훈련하는 것이 더 나은 일반화 성능을 이끌어내는지 판단하기 위해.
• 성능 향상의 원인이 정규화인지, 또는 지도 학습 목표의 최적화 향상 때문인지 평가하기 위해.

제안 방법

• 기본적으로 훈련된 16층 VGGNet에 대칭적 디코딩 경로를 추가하여 스택드 오토에인코더를 구성한다.
• 에코더의 중간 활성값을 이미지 복원을 위한 잠재 표현으로 사용한다.
• 두 가지 오토에인코더 변형을 구현한다: 고정된 언풀링 스위치를 사용하는 경우(SAE)와 학습된 풀링 스위치를 사용하는 경우(SWWAE).
• 지도 학습 교차 엔트로피 손실과 비지도 복원 손실을 모두 사용해 전체 증강된 네트워크를 종단 간 확률적 경사 하강법으로 훈련한다.
• 분류 및 복원 목표를 함께 훈련하여 비지도 손실이 분류 경로에 영향을 미치도록 한다.
• 표준 ImageNet ILSVRC 2012 메트릭을 사용해 성능을 평가하며, 검증 세트의 top-1 및 top-5 정확도를 포함한다.

실험 결과

연구 질문

• RQ1 비지도 복원 목표가 대규모 지도 학습 이미지 분류 네트워크의 성능 향상에 기여할 수 있는가?
• RQ2 특히 풀링 스위치 연결을 사용하는 다양한 오토에인코더 아키텍처가 분류 네트워크 성능에 어떤 영향을 미치는가?
• RQ3 복원 목표의 포함이 일반화 성능 향상에 기여하는가, 아니면 단지 지도 학습 손실의 최적화 향상 때문인가?
• RQ4 성능 향상의 원인이 정규화인지, 또는 손실 곡면에서 더 나은 국소 최적점에 도달하기 때문인가?

주요 결과

• Swwae-all 모델은 ImageNet에서 VGGNet 기준으로 top-1 오차를 1.66% 감소시키고, top-5 오차를 1.01% 감소시켰다.
• Swwae-all 모델은 top-1 정확도에서 기존 VGGNet 대비 1.66%의 절대적 향상을 달성했으며, 이 중 75%의 상대적 향상(1.25% 절대적 향상)이 단 4 에포크 내에 달성되었다.
• 오토에인코더로 증강된 네트워크는 기준 모델보다 더 낮은 훈련 오차를 기록했으며, 이는 성능 향상이 정규화 때문이 아니라 최적화 향상 때문임을 시사한다.
• Swwae-all은 Sae-all을 능가했으며, 이는 풀링 스위치 연결이 성능 향상에 기여하지만, 반드시 성능 향상에 필수적인 것은 아님을 보여준다.
• 층별로 복원 손실은 훈련을 정규화하는 데 효과적이었으며, Sae/swwae-first는 낮은 훈련 오차를 기록했지만 높은 검증 오차를 보이며 과적합이 발생했음을 시사한다.
• 기본 네트워크의 중간 활성값은 최대 풀링 과정에서 잃어버린 위치 정보를 제외하고 거의 모든 입력 정보를 유지하고 있어, 복원에 유용함을 확인했다.