[논문 리뷰] Universum Prescription: Regularization using Unlabeled Data

Xiang Zhang, Yann LeCun|arXiv (Cornell University)|2015. 11. 11.

Advanced Neural Network Applications참고 문헌 57인용 수 3

한 줄 요약

이 논문은 '위치에 속하지 않는다'라는 레이블을 비라벨 데이터에 할당함으로써 딥 러닝의 일반화 성능을 향상시키는 단순하면서도 효과적인 정규화 기법인 Universum prescription을 제안한다. 비라벨 샘플을 감독 클래스 외의 보편적 집합에 속한다고 간주함으로써, CIFAR-10, CIFAR-100, STL-10 및 ImageNet에서 일반화 오차를 감소시킨다. 특히 학습 가능한 파rameterization을 갖춘 '먼지통 클래스' 변형이 다른 변형들보다 뛰어난 성능을 보였다.

ABSTRACT

This paper shows that simply prescribing "none of the above" labels to unlabeled data has a beneficial regularization effect to supervised learning. We call it universum prescription by the fact that the prescribed labels cannot be one of the supervised labels. In spite of its simplicity, universum prescription obtained competitive results in training deep convolutional networks for CIFAR-10, CIFAR-100, STL-10 and ImageNet datasets. A qualitative justification of these approaches using Rademacher complexity is presented. The effect of a regularization parameter -- probability of sampling from unlabeled data -- is also studied empirically.

연구 동기 및 목표

• 비라벨 데이터에 '위치에 속하지 않는다'는 레이블을 할당하는 것이 딥 러닝에서 효과적인 정규화 기법이 될 수 있는지 조사하는 것.
• 균일, 먼지통 클래스, 배경 클래스와 같은 다양한 '위치에 속하지 않는다' 레이블 부여 전략이 모델의 일반화에 미치는 영향을 평가하는 것.
• Rademacher 복잡도를 활용한 이론적 근거를 제시하고, 여러 벤치마크 데이터셋에서의 실험적 검증을 통해 기법의 효과성을 입증하는 것.
• 정규화 파rameter, 즉 비라벨 데이터로부터 샘플링할 확률의 영향을 모델 성능과 안정성에 대해 분석하는 것.

제안 방법

• 비라벨 데이터에 무지개 타깃을 할당하는 방법: 모든 클래스에 균일한 분포, 전용 '먼지통' 클래스, 또는 임계값이 설정된 배경 클래스.
• 라벨이 지정된 클래스들이 비라벨 분포에서 무시 가능하다고 가정함으로써, 비라벨 샘플이 어떤 감독 클래스에도 속하지 않음을 보장한다.
• 손실 함수는 음의 로그우도 기반이며, 훈련 중에 비라벨 샘플은 확률 p로 무작위로 샘플링되어 모델을 갱신한다.
• 먼지통 클래스는 출력 레이어에 추가 클래스를 도입함으로써 비라벨 데이터에 대한 전용 표현을 학습할 수 있도록 한다.
• 배경 클래스는 일정한 임계값을 사용하여 파arameterization을 피함으로써 더 단순하지만 덜 적응 가능한 대안을 제공한다.
• Rademacher 복잡도를 통한 이론적 근거를 제시하여, 비라벨 데이터를 포함한 공동 문제의 일반화 오차가 유계임을 보여준다.

실험 결과

연구 질문

• RQ1 비라벨 데이터에 '위치에 속하지 않는다'는 레이블을 할당하는 것이 딥 신경망의 일반화 갭을 줄일 수 있는가?
• RQ2 균일, 먼지통 클래스, 배경 클래스와 같은 다양한 레이블 부여 전략이 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 정규화 파arameter p, 즉 비라벨 데이터로부터 샘플링할 확률의 최적 값은 무엇인가?
• RQ4 대규모 비라벨 데이터를 사용할 경우 Universum prescription이 모델의 안정성과 분산을 향상시키는가?
• RQ5 Dropout 및 기타 표준 정규화 기법과 비교했을 때 Universum prescription의 효과는 어떠한가?

주요 결과

• 먼지통 클래스 방법은 모든 데이터셋에서 일관되게 가장 낮은 테스트 오차를 기록했으며, 균일 및 배경 클래스 방법보다 뛰어난 성능을 보였다.
• CIFAR-10, CIFAR-100 및 STL-10에서 Universum prescription은 일반화 갭을 감소시켰으며, 특히 대규모 비라벨 데이터를 사용할 경우 그 효과가 더 두드러졌다.
• 정규화 파arameter p를 증가시킬수록 일반화 갭은 일정 수준까지 감소하지만, 이후 비라벨 데이터에 과도하게 의존함으로써 훈련 붕괴 현상이 발생했다.
• 이 기법의 정규화 효과는 Dropout과 유사했으며, 둘을 동시에 사용했을 때는 추가적인 이점이 없었다.
• 실험 결과로는 더 큰 비라벨 데이터셋을 사용할수록 훈련 및 테스트 오차의 분산이 감소하여 모델의 안정성이 향상됨을 확인했다.
• Rademacher 복잡도를 활용한 이론적 분석은, Universum prescription을 통해 비라벨 데이터를 추가함으로써 일반화 경계가 향상됨을 뒷받침한다.