[논문 리뷰] Learning Deep Representations Using Convolutional Auto-encoders with Symmetric Skip Connections

Jianfeng Dong, Xiao-Jiao Mao외 2명|arXiv (Cornell University)|2016. 11. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 이미지 복원을 통한 표현 학습을 통해 비지도 사전 훈련을 향상시키는 대칭 스킵 커넥션 컨볼루션 오토인코더를 제안한다. 이 아키텍처는 잔차 스타일의 스킵 커넥션을 통해 비라벨 데이터로부터 강력하고 의미 있는 표현을 학습함으로써, 라벨이 제한된 경우에도 이미지 분류 및 의미 세분화에서 뛰어난 성능을 달성한다.

ABSTRACT

Unsupervised pre-training was a critical technique for training deep neural networks years ago. With sufficient labeled data and modern training techniques, it is possible to train very deep neural networks from scratch in a purely supervised manner nowadays. However, unlabeled data is easier to obtain and usually of very large scale. How to make use of them better to help supervised learning is still a well-valued topic. In this paper, we investigate convolutional denoising auto-encoders to show that unsupervised pre-training can still improve the performance of high-level image related tasks such as image classification and semantic segmentation. The architecture we use is a convolutional auto-encoder network with symmetric shortcut connections. We empirically show that symmetric shortcut connections are very important for learning abstract representations via image reconstruction. When no extra unlabeled data are available, unsupervised pre-training with our network can regularize the supervised training and therefore lead to better generalization performance. With the help of unsupervised pre-training, our method achieves very competitive results in image classification using very simple all-convolution networks. When labeled data are limited but extra unlabeled data are available, our method achieves good results in several semi-supervised learning tasks.

연구 동기 및 목표

• 현대적이고 대규모의 지도 학습 환경에서도 컨볼루션 오토인코더를 통한 비지도 사전 훈련이 깊이 있는 네트워크 성능을 향상시킬 수 있는지 조사하기 위해.
• 대칭 스킵 커넥션이 분류 및 세분화에 적합한 추상적이고 고수준의 표현을 학습할 수 있도록 오토인코더를 어떻게 지원하는지 평가하기 위해.
• 추가로 라벨이 없는 데이터가 없는 경우(사례 1) 사전 훈련이 정규화 기법으로서의 역할을 하는지, 추가로 라벨이 없는 데이터가 존재할 경우(사례 2) 준지도 학습 방법으로서의 역할을 하는지 평가하기 위해.
• 클래스 레이블 없이 복원만을 통해 학습된 표현이 의미적으로 관련 있는 특징을 포착할 수 있는지 확인하기 위해.

제안 방법

• 이미지 복원 아키텍처에서 영감을 얻어, 대칭 스킵 커넥션을 갖춘 완전 컨볼루션 인코더-디코더 네트워크를 제안한다.
• 노이즈 제거 오토인코더 훈련 목표를 사용: 입력 이미지를 손상시켜(예: 패치 마스킹) 원본을 재구성하도록 네트워크를 훈련시킨다.
• 같은 레이어에서 인코더에서 디코더로 특징을 전달하는 대칭 스킵 커넥션을 적용하여 훈련 안정성과 특징 학습 성능을 향상시킨다.
• 사전 훈련된 인코더를 특징 추출기로 활용하고, 라벨이 있는 데이터에서 분류기 헤드만 미세조정하여 최종 작업에 적용한다.
• 지도 학습 전에 대규모 라벨이 없는 데이터셋(예: ImageNet 서브셋)에서 비지도 사전 훈련을 수행한다.
• PASCAL VOC 2007에서 이미지 분류 및 의미 세분화 작업을 수행하며, 전체 지도 학습 및 준지도 학습 설정 모두에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 충분한 라벨이 있는 현대적 딥 네트워크를 처음부터 훈련할 때, 재구성 기반 목표를 사용한 비지도 사전 훈련이 일반화 성능 향상에 여전히 기여할 수 있는가?
• RQ2 대칭 스킵 커넥션이 오토인코더가 이미지 복원을 통해 의미 있는 표현을 학습할 수 있도록 하는 데 얼마나 중요한가?
• RQ3 특정 의미적 카테고리(예: 동물 또는 차량)에서 온 라벨이 없는 데이터로 사전 훈련하면, 미세조정 시 해당 카테고리에서 성능 향상이 이루어지는가?
• RQ4 사전 훈련된 모델이 추가로 라벨이 없는 데이터를 사용하지 않는 한, 정규화 기법으로서 효과적인가?
• RQ5 부분적인 가림 등 손상에 대해 학습된 표현이 얼마나 강건한가? 그리고 얼굴이나 바퀴와 같은 주목할 만한 의미적 구조를 암묵적으로 탐지할 수 있는가?

주요 결과

• 대칭 스킵 커넥션은 오토인코더에서 효과적인 표현 학습을 위해 필수적이다; 이를 제거하면 재구성 성능이 떨어지고 최종 작업 성능도 악화된다.
• '우산류' 또는 '차량' 슈퍼클래스에서만 93,000개의 라벨이 없는 이미지로 ImageNet에서 사전 훈련하면, 처음부터 훈련하는 것보다 PASCAL VOC 2007에서 평균 정밀도를 최대 3.66%p 향상시킨다.
• 동물 이미지로 사전 훈련한 네트워크는 '동물' 굵은 클래스에서 73.04% mAP를 달성하고, 차량으로 사전 훈련한 모델은 '차량' 클래스에서 80.00%에 도달하여 분포 인식 표현 학습이 이루어짐을 보여준다.
• 시각화 결과는 감독 없이도 신경망이 의미적으로 관련 있는 영역(예: 개 얼굴, 자동차 바퀴)에 주목하는 경향을 보이며, 객체 부분을 암묵적으로 학습하고 있음을 시사한다.
• 부분적인 가림이 있을 때도 특징 맵이 안정적이므로, 손상에 대해 학습된 표현이 강건함을 보이며, 손상된 입력에서도 일관된 활성화 패턴을 유지한다.
• 준지도 학습 환경에서는 추가로 라벨이 없는 데이터가 존재할 경우, 공동 학습 방법과 경쟁 가능한 성능을 기록하여 효과성을 입증한다.