[논문 리뷰] Weather Classification: A new multi-class dataset, data augmentation approach and comprehensive evaluations of Convolutional Neural Networks

José Guerra, Zeba Khanam외 3명|arXiv (Cornell University)|2018. 08. 01.

Image Enhancement Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 비, 눈, dense 안개를 포함하는 다중 클래스 날씨 이미지 데이터셋인 RFS 데이터셋을 소개하고, 컨volution 신경망(CNN)의 날씨 분류 성능을 향상시키기 위해 초광역 기반의 새로운 데이터 증강 기법을 제안한다. 이 방법은 10종의 CNN 아키텍처에서 모델 일반화 능력을 향상시키며, ResNet-50는 100개의 초광역 마스크를 사용할 때 mAP가 80.70%로 가장 높게 기록하여 초광역 증강 기법이 정확도를 높이고 클래스 불균형 및 도메인 이동 문제를 해결함을 보여준다.

ABSTRACT

Weather conditions often disrupt the proper functioning of transportation systems. Present systems either deploy an array of sensors or use an in-vehicle camera to predict weather conditions. These solutions have resulted in incremental cost and limited scope. To ensure smooth operation of all transportation services in all-weather conditions, a reliable detection system is necessary to classify weather in wild. The challenges involved in solving this problem is that weather conditions are diverse in nature and there is an absence of discriminate features among various weather conditions. The existing works to solve this problem have been scene specific and have targeted classification of two categories of weather. In this paper, we have created a new open source dataset consisting of images depicting three classes of weather i.e rain, snow and fog called RFS Dataset. A novel algorithm has also been proposed which has used super pixel delimiting masks as a form of data augmentation, leading to reasonable results with respect to ten Convolutional Neural Network architectures.

연구 동기 및 목표

• 외부 환경 장면 분류를 위한 다양한 다중 클래스 날씨 데이터셋의 부족 문제를 해결하기 위해.
• 데이터 증강을 통해 CNN의 날씨 분류 성능에서 일반화 능력과 강건성을 향상시키기 위해.
• 세분화된 날씨 인식을 위한 새로운 증강 전략으로 초광역 마스크의 효과성을 탐색하기 위해.
• 다양한 증강 조건에서 새로운 벤치마크 데이터셋을 기반으로 최신의 CNN 아키텍처 10종을 평가하기 위해.
• 편향을 줄이고 날씨 분류 모델의 공정성을 향상시키기 위해 재현 가능한 오픈소스 데이터셋과 방법을 제공하기 위해.

제안 방법

• 저자들은 온라인 자료에서 이미지를 수집하여 각 클래스(비, 눈, 안개)당 2000장의 이미지를 확보하고, 편향을 줄이기 위해 기존 벤치마크 이미지도 통합하여 RFS 데이터셋을 구축하였다.
• SLIC 알고리즘을 활용해 초광역 마스크를 생성함으로써, 입력 이미지의 영역을 마스킹하고 증강하는 방식의 새로운 데이터 증강 기법을 개발하였다.
• 원본 이미지 분포를 유지하면서도 다양성을 높이기 위해, 이미지당 25, 50, 75, 100개의 초광역 마스크를 다양한 밀도로 적용하였다.
• ResNet, VGG, CaffeNet, PlacesCNN 등 10종의 사전 학습된 CNN 아키텍처를 RFS 데이터셋에 대해 초광역 증강 유무에 따라 미세조정하였다.
• 모델 성능 평가에는 모든 클래스의 평균 정밀도(mAP)를 사용하였으며, 모델의 강건성과 일반화 능력을 평가하기 위해 클래스별 분석도 수행하였다.
• 전체 파이프라인은 이미지 전처리, 초광역 생성, 마스킹을 통한 데이터 혼합, 교차 엔트로피 손실을 사용한 엔드 투 엔드 학습을 포함한다.

실험 결과

연구 질문

• RQ1 초광역 기반의 데이터 증강 기법은 다중 클래스 날씨 분류에서 CNN의 성능 향상에 기여하는가?
• RQ2 초광역 마스크의 수가 다양한 아키텍처에서 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 RFS 데이터셋은 기존 날씨 데이터셋에 비해 편향을 줄이고 공정성을 향상시키는가?
• RQ4 초광역 증강 기법을 적용했을 때 어떤 CNN 아키텍처가 날씨 분류에서 가장 우수한 성능을 보이는가?
• RQ5 온라인 이미지와 벤치마크 이미지를 융합한 하이브리드 데이터셋은 모델의 강건성 향상과 도메인 이동 감소에 기여하는가?

주요 결과

• ResNet-50는 100개의 초광역 마스크를 사용할 때 mAP가 80.70%로 기록하여 모든 설정에서 다른 아키텍처를 압도하였다.
• 초광역 증강 기법을 적용한 결과 10개 모델 중 8개에서 mAP가 향상되었으며, 특히 ResNet-50와 ResNet-101에서 가장 뚜렷한 성능 향상이 관찰되었다.
• PlacesCNN과 CaffeNet는 증강 기법 적용 후 성능 향상이 거의 없거나 전혀 없었으며, 이는 이 아키텍처들이 새로운 데이터 형태를 효과적으로 활용하지 못하는 아키텍처적 한계를 시사한다.
• 맑은 날 카테고리에서는 VGG_CNN_M가 가장 뛰어난 성능을 보였으며, 이는 일부 아키텍처가 특정 날씨 유형에 더 적합할 수 있음을 시사한다.
• 모든 모델과 설정에서의 전체 mAP는 68%에서 81% 사이로 변동하였으며, 제안된 증강 기법과 데이터셋의 효과성을 확인하였다.
• 결과는 초광역 마스킹이 훈련 중에 통제된 의미 있는 변형을 도입함으로써 특징 학습을 향상시킨다는 가설을 지지한다.