[논문 리뷰] Semi-Supervised Learning Enabled by Multiscale Deep Neural Network Inversion

Randall Balestriero, Hervé Glotin외 1명|arXiv (Cornell University)|2018. 02. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 하이퍼파rameter가 없고 아키텍처에 종속되지 않는 준지도 학습 프레임워크를 제안한다. 재정규화된 손실과 다중 척도 재구성 기법을 통해 정확도와 강인성을 향상시킨다. 500개의 레이블을 사용할 때 SVHN에서 9.82%의 테스트 오차를 기록하며 기존 방법들을 능가하며, 8000개의 레이블을 사용할 때 CIFAR10에서 16.38%의 테스트 오차를 기록한다. 하이퍼파ram터 조정 없이도 최고 성능을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) provide state-of-the-art solutions in several difficult machine perceptual tasks. However, their performance relies on the availability of a large set of labeled training data, which limits the breadth of their applicability. Hence, there is a need for new {\em semi-supervised learning} methods for DNNs that can leverage both (a small amount of) labeled and unlabeled training data. In this paper, we develop a general loss function enabling DNNs of any topology to be trained in a semi-supervised manner without extra hyper-parameters. As opposed to current semi-supervised techniques based on topology-specific or unstable approaches, ours is both robust and general. We demonstrate that our approach reaches state-of-the-art performance on the SVHN ($9.82\%$ test error, with $500$ labels and wide Resnet) and CIFAR10 (16.38% test error, with 8000 labels and sigmoid convolutional neural network) data sets.

연구 동기 및 목표

• 제한된 레이블 데이터로 깊이 있는 신경망을 훈련시키는 과제를 해결하기 위해 풍부한 무레이블 데이터를 활용한다.
• 하이퍼파ram터가 없고 다양한 DNN 아키텍처에 일반화 가능한 준지도 학습 프레임워크를 개발한다.
• 노이즈가 있는 입력과 초기화에 민감도를 낮추기 위해 다중 척도 재구성 손실을 도입함으로써 훈련 안정성과 성능을 향상시킨다.
• 시그모이드와 같은 비-레elu 활성화 함수를 효과적으로 활용할 수 있도록 하여 순환망 및 기타 비-레elu 네트워크로의 적용 범위를 넓힌다.

제안 방법

• 외부 스케일링 요소에 의존하지 않도록 하여 하이퍼파ram터 조정이 필요 없도록 하는 재정규화된 손실 함수를 도입한다.
• 다양한 층에서 일관성을 강제하는 다중 척도 재구성 손실을 제안하여 입력 노이즈와 초기화에 대한 강인성을 향상시킨다.
• 숨겨진 표현에서 입력을 재구성하기 위해 미분 가능하고 근사적인 역함수 기법($f^{(-1)}$으로 표기)을 사용하여 명시적 역망 없이도 자기지도 학습을 가능하게 한다.
• 모든 층에 동일한 손실 함수를 적용하며, 여러 척도에서 재구성 손실을 계산하여 훈련 안정성과 일반화 성능을 향상시킨다.
• 레이블이 있는 데이터에 대한 교차 엔트로피와 레이블이 없는 데이터에 대한 재구성 오차를 통합한 통합 훈련 목표 함수를 사용하며, 추가 하이퍼파ram터가 없다.
• 활성화 함수의 가정에 종속되지 않도록 하여, ResNet과 시그모이드 기반 CNN을 포함한 다양한 DNN 구조를 지원한다.

실험 결과

연구 질문

• RQ1 하이퍼파ram터가 없고 아키텍처에 종속되지 않는 준지도 학습 프레임워크를 설계할 수 있는가?
• RQ2 다중 척도 재구성 손실은 준지도 학습에서 훈련 안정성과 일반화 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 하이퍼파ram터 조정 없이도 SVHN과 CIFAR10과 같은 표준 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 시그모이드와 같은 비-레elu 활성화 함수로의 일반화 능력은 어느 정도인가?
• RQ5 레이블 부족과 입력 노이즈 조건이 다양할 경우 이 방법의 성능는 어떻게 되는가?

주요 결과

• 제안된 방법은 넓은 ResNet을 사용하여 레이블 500개만으로도 SVHN에서 9.82%의 테스트 오차를 기록하며, 기존 최고 성능 방법들을 능가한다.
• 레이블 8000개를 사용할 때 CIFAR10에서 시그모이드 기반 컨볼루션 신경망을 사용하여 16.38%의 테스트 오차를 기록하며, 최고 성능을 달성한다.
• 다중 척도 재구성 손실 덕분에 초기화, 레이블 샘플링, 입력 노이즈에 대해 강인하여 훈련이 안정된다.
• 조각별 애핀 활성화 함수가 아닌 시그모이드와 같은 함수로도 일반화 가능하여 순환망 및 출력이 유한한 다른 아키텍처로의 적용이 가능하다.
• 손실 함수는 하이퍼파ram터가 없어 손실 가중치나 학습률 스케줄링과 같은 하이퍼파ram터에 대한 교차 검증이 필요 없다.
• 아키텍처의 수정 없이도 ResNet과 시그모이드 기반 CNN을 포함한 다양한 아키텍처에서 뛰어난 성능를 유지한다.