[논문 리뷰] On Deep Representation Learning from Noisy Web Images

Phong D. Vo, Alexandru-Lucian Gînsca외 2명|arXiv (Cornell University)|2015. 12. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 일반적인 특징 검출기로 사용 가능한 컨volutional 신경망(convnets)을 훈련하기 위해 노이즈가 많은 웹 이미지를 사용하는 준감독형 딥 표현 학습 방법을 제안한다. 높은 노이즈 수준, 데이터 편향, 잘못된 레이블링에도 불구하고, 이 방법은 아홉 개인 공개 데이터셋에서 최신 기술 성능을 달성하였으며, ImageNet에서 훈련된 AlexNet을 뛰어넘고, 단지 314만 개의 노이즈가 많은 웹 이미지만을 사용하여 VGG-16의 정확도에 근접한다.

ABSTRACT

The keep-growing content of Web images may be the next important data source to scale up deep neural networks, which recently obtained a great success in the ImageNet classification challenge and related tasks. This prospect, however, has not been validated on convolutional networks (convnet) -- one of best performing deep models -- because of their supervised regime. While unsupervised alternatives are not so good as convnet in generalizing the learned model to new domains, we use convnet to leverage semi-supervised representation learning. Our approach is to use massive amounts of unlabeled and noisy Web images to train convnets as general feature detectors despite challenges coming from data such as high level of mislabeled data, outliers, and data biases. Extensive experiments are conducted at several data scales, different network architectures, and data reranking techniques. The learned representations are evaluated on nine public datasets of various topics. The best results obtained by our convnets, trained on 3.14 million Web images, outperform AlexNet trained on 1.2 million clean images of ILSVRC 2012 and is closing the gap with VGG-16. These prominent results suggest a budget solution to use deep learning in practice and motivate more research in semi-supervised representation learning.

연구 동기 및 목표

• 대규모로, 레이블이 없고, 노이즈가 많은 웹 이미지 컬렉션에서 딥 컨volution 네트워크를 훈련시키는 것이 가능한지 탐색하는 것.
• 딥 표현 학습을 위한 웹 스케일 이미지 데이터셋에서의 데이터 노이즈, 잘못된 레이블링, 편향 문제를 다루는 것.
• 완전히 깨끗한 데이터셋이 필요로 하지 않는, 비감독 학습 프레임워크를 개발하여 일반화 성능을 향상시키는 것.
• 다양한 후행 작업에서 노이즈가 많은 데이터로부터 학습된 표현의 강건성과 이식 가능성 평가하는 것.

제안 방법

• 모델의 초기 가중치를 설정하기 위해 소량의 깨끗한 이미지(예: ImageNet)를 사용한 감독 학습 전처리 단계를 수행한다.
• 그 후, 약 314만 개의 노이즈가 많은 웹 기반 이미지 데이터셋을 사용하여 네트워크를 미세조정한다. 이 데이터셋은 약한 또는 노이즈가 많은 레이블을 가진다.
• 학습 중에 저품질 또는 이방성 이미지를 걸러내기 위해 데이터 재정렬 기법을 적용하여 표현 품질을 향상시킨다.
• 네트워크는 특정 분류 작업을 해결하는 것보다는 이식 가능한 특징을 학습하는 데 중점을 두어 일반적인 특징 검출기로 작동하도록 훈련된다.
• 표준 딥 컨볼루션 아키텍처(예: AlexNet, VGG 유사)를 준감독 학습에 적합하도록 변형하여 사용한다.
• 후행 작업에서 추가 미세조정 없이도 정확도를 측정할 수 있도록, 다양한 데이터셋을 대상으로 제로샷 전이 학습을 평가한다.

실험 결과

연구 질문

• RQ1 완전히 깨끗한 데이터셋이 필요로 하지 않고, 노이즈가 많은 웹 기반 이미지에서 딥 컨볼루션 네트워크가 강건하고 이식 가능한 표현을 학습할 수 있는가?
• RQ2 노이즈가 많은 웹 데이터로 훈련된 모델의 성능이, ImageNet과 같은 깨끗하고 정제된 데이터셋으로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 데이터 재정렬 및 준감독 학습 기법이 웹 스케일 이미지 컬렉션에서 레이블 노이즈와 데이터 편향의 부정적 영향을 어느 정도 완화할 수 있는가?
• RQ4 노이즈가 많은 감독 신호가 존재하는 상황에서도 대규모 레이블이 없는 데이터 사용이 후행 작업에서의 일반화 성능 향상에 기여하는가?
• RQ5 314만 개의 노이즈가 많은 이미지로 훈련된 모델이, 120만 개의 깨끗한 ImageNet 이미지로 훈련된 AlexNet의 성능을 뛰어넘을 수 있는가?

주요 결과

• 314만 개의 노이즈가 많은 웹 이미지로 훈련된 모델이, 120만 개의 깨끗한 ImageNet 이미지로 훈련된 AlexNet보다 여러 후행 분류 작업에서 더 높은 성능을 보였다.
• 학습된 표현은 VGG-16과 비슷한 성능을 달성하여 강력한 이식 가능성의 가능성을 입증하였다. 이는 더 깊고 복잡한 아키텍처임에도 불구하고 의미 있는 성능을 보였다.
• 데이터 재정렬 기법을 사용함으로써 학습 중에 저품질 및 이방성 이미지를 걸러내어 모델 정확도가 크게 향상되었다.
• 준감독 학습 접근법은 높은 레이블 노이즈가 존재하는 상황에서도 레이블이 없는 데이터를 효과적으로 활용하여 특징 학습을 향상시켰다.
• 결과적으로, 정제된 데이터셋에 비해 비용 효율적일 수 있는 노이즈가 많은 웹 데이터가 딥 표현 학습을 위한 실용적이고 비용 효율적인 대안이 될 수 있음을 입증하였다.
• 깊은 네트워크가 적절한 데이터 필터링 및 훈련 전략을 함께 사용할 경우, 노이즈가 많은 데이터로부터도 잘 일반화될 수 있음을 연구가 검증하였다.