[논문 리뷰] ColorNet: Investigating the importance of color spaces for image classification

Shreyank N Gowda, Chun Yuan|arXiv (Cornell University)|2019. 02. 01.

Brain Tumor Detection and ClassificationNeuroscience인용 수 22

한 줄 요약

ColorNet는 단일 RGB 이미지를 동시에 7개의 서로 다른 색상 공간(RGB, HSV, LAB, YUV, YCbCr, YIQ, HED)으로 처리하는 새로운 이미지 분류 프레임워크를 제안한다. 각 색상 공간에 대해 별도의 작은, 넓은 DenseNet을 사용한다. 이러한 색상 공간별 브랜치의 예측을 융합함으로써, 175만 개의 파rameter만을 사용하여 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 최신 기준 성능을 달성한다. 이는 2,560만 개의 파rameter를 가진 더 큰 모델인 DenseNet-BC-190-40보다 뛰어난 성능을 내며, 더 작은 모델임에도 불구하고 슈퍼리아이오닉 성능을 달성한다.

ABSTRACT

Image classification is a fundamental application in computer vision. Recently, deeper networks and highly connected networks have shown state of the art performance for image classification tasks. Most datasets these days consist of a finite number of color images. These color images are taken as input in the form of RGB images and classification is done without modifying them. We explore the importance of color spaces and show that color spaces (essentially transformations of original RGB images) can significantly affect classification accuracy. Further, we show that certain classes of images are better represented in particular color spaces and for a dataset with a highly varying number of classes such as CIFAR and Imagenet, using a model that considers multiple color spaces within the same model gives excellent levels of accuracy. Also, we show that such a model, where the input is preprocessed into multiple color spaces simultaneously, needs far fewer parameters to obtain high accuracy for classification. For example, our model with 1.75M parameters significantly outperforms DenseNet 100-12 that has 12M parameters and gives results comparable to Densenet-BC-190-40 that has 25.6M parameters for classification of four competitive image classification datasets namely: CIFAR-10, CIFAR-100, SVHN and Imagenet. Our model essentially takes an RGB image as input, simultaneously converts the image into 7 different color spaces and uses these as inputs to individual densenets. We use small and wide densenets to reduce computation overhead and number of hyperparameters required. We obtain significant improvement on current state of the art results on these datasets as well.

연구 동기 및 목표

• 다양한 색상 공간이 이미지 분류 성능에 미치는 영향을 조사하는 것.
• 특정 이미지 클래스나 데이터셋에 대해 어떤 색상 공간이 더 적합한지 확인하는 것.
• 다중 색상 공간 입력을 통해 모델 복잡도를 감소시키면서도 정확도를 유지하거나 향상시키는 것.
• 특징 학습 이전에 조기 색상 공간 변환을 수행할 경우 표현 학습이 향상되는지 탐색하는 것.
• 단일 아키텍처 내에서 다수의 색상 공간 표현을 융합하여 경량이면서도 높은 정확도를 가진 모델을 개발하는 것.

제안 방법

• 모델은 단일 RGB 이미지를 입력으로 받아, 동시에 7개의 서로 다른 색상 공간으로 변환한다: RGB, HSV, LAB, YUV, YCbCr, YIQ, HED.
• 각 색상 공간 표현은 별도의 작은, 넓은 DenseNet(DenseNet-40-12)에 입력되어 독립적으로 특징을 추출한다.
• 모든 7개의 DenseNet 출력은 연결되어 최종 완전 연결층을 거쳐 가중치가 부여된 융합 및 최종 분류를 수행한다.
• 작고 넓은 DenseNet을 사용함으로써 파arameter 수와 하이퍼파라미터 수를 줄이고, 기울기 소실 및 과적합 문제를 완화한다.
• 색상 공간 변환은 표준 수학적 공식을 사용하여 수행되며, sRGB의 선형화 및 행렬 곱을 통한 CIE XYZ 및 LAB로의 변환을 포함한다.
• 최종 예측은 개별 브랜치 출력의 평균 또는 학습된 가중치 융합을 통해 도출된다.

실험 결과

연구 질문

• RQ1 색상 공간의 선택이 다양한 데이터셋에서 이미지 분류 정확도에 미치는 영향은 어떠한가?
• RQ2 RGB만을 사용하는 것과 비교해 다중 색상 공간 표현을 융합할 경우 분류 성능 향상이 가능한가?
• RQ3 특정 이미지 클래스나 데이터셋 특성에 대해 더 효과적인 색상 공간이 존재하는가?
• RQ4 다중 색상 공간 입력을 통해 정확도를 유지하거나 향상시키면서 모델 크기를 얼마나 줄일 수 있는가?
• RQ5 특징 학습 이전에 조기 색상 공간 변환을 수행할 경우, 원시 RGB 이미지 처리보다 더 나은 표현 학습이 이루어지는가?

주요 결과

• ColorNet-121은 ImageNet에서 상위-1 오차율 17.65%와 상위-5 오차율 5.22%를 기록하여, 발표 당시 새로운 최신 기준 성능을 수립했다.
• 175만 개의 파arameter만을 가진 ColorNet-40-12는 SVHN에서 1,530만 개의 파arameter를 가진 DenseNet-BC-250-24를 초월하여 1.59%의 오차율을 기록했다.
• ColorNet-40-48는 SVHN에서 1.12%의 오차율을 기록하여 해당 데이터셋에 대해 새로운 최신 기준 성능을 달성했다.
• 모델는 더 큰 모델보다 뚜렷하게 뛰어난 성능을 보였다. 예를 들어, ColorNet-40-12는 CIFAR-100에서 파arameter 수가 더 적은 반면, DenseNet-BC-190-40(2,560만 개의 파arameter)보다도 뛰어난 성능을 보였다.
• 혼동 행렬 분석 결과, 특정 클래스는 특정 색상 공간에서 더 잘 분류되는 것으로 나타나, 다중 색상 공간 융합 전략의 타당성을 뒷받침했다.
• LCH, YPbPr, XYZ와 같은 색상 공간은 성능을 떨어뜨려 최종 모델에서 제외되었다.