[논문 리뷰] Between-class Learning for Image Classification

Yuji Tokozume, Yoshitaka Ushiku외 1명|arXiv (Cornell University)|2017. 11. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 이미지 분류를 위한 Between-Class (BC) 학습을 제안하며, 모델이 서로 다른 클래스의 두 이미지의 혼합 비율을 예측하도록 훈련시킵니다. 이미지를 파형으로 간주하고 단순하거나 에너지 인식 혼합을 적용함으로써 BC 학습은 일반화 성능을 향상시켜 ImageNet-1K의 top-1 오차를 19.4%로 감소시키고, CIFAR-10의 오차를 2.26%로 낮춥니다.

ABSTRACT

In this paper, we propose a novel learning method for image classification called Between-Class learning (BC learning). We generate between-class images by mixing two images belonging to different classes with a random ratio. We then input the mixed image to the model and train the model to output the mixing ratio. BC learning has the ability to impose constraints on the shape of the feature distributions, and thus the generalization ability is improved. BC learning is originally a method developed for sounds, which can be digitally mixed. Mixing two image data does not appear to make sense; however, we argue that because convolutional neural networks have an aspect of treating input data as waveforms, what works on sounds must also work on images. First, we propose a simple mixing method using internal divisions, which surprisingly proves to significantly improve performance. Second, we propose a mixing method that treats the images as waveforms, which leads to a further improvement in performance. As a result, we achieved 19.4% and 2.26% top-1 errors on ImageNet-1K and CIFAR-10, respectively.

연구 동기 및 목표

• 소리 인식에서 처음 개발된 Between-Class 학습을 이미지 분류에 확장하기 위해.
• 시각적으로 불일치하는 이미지를 혼합함에도 불구하고 모델의 일반화 성능 향상이 가능한지 조사하기 위해.
• CNN이 이미지를 파형으로 암묵적으로 처리하는지 여부를 탐구하기 위해.
• 특징 분포 제약을 강화하는 간단하면서도 효과적인 혼합 전략을 개발하기 위해.
• 다양한 아키텍처와 데이터셋에서 BC 학습의 실험적 검증을 통해 일관된 성능 향상을 입증하기 위해.

제안 방법

• 다른 클래스의 두 이미지를 무작위 혼합 비율을 사용하여 조합하여 혼합 이미지를 생성합니다.
• 혼합 비율을 회귀하여 예측하도록 모델을 훈련시키며, 새로운 비율 예측 헤드를 도입합니다.
• 내부 분할(예: 공간적 자르기 및 블렌딩)을 사용한 단순한 혼합 방법을 적용하여 혼합 입력을 생성합니다.
• BC+를 제안하며, 이미지를 평균이 0인 파형으로 간주합니다: 혼합 전에 이미지 평균을 빼고 에너지로 정규화합니다.
• 입력과 정답에 동일한 혼합 비율을 사용하여 단일 손실로 종단 간 훈련이 가능하도록 합니다.
• 모델이 혼합에 여러 클래스가 포함된 경우에도 비율을 예측할 수 있도록 다중 클래스 혼합 전략을 도입합니다.

실험 결과

연구 질문

• RQ1 소리 인식에서 효과적이었던 Between-Class 학습이 시각적 불일치에도 불구하고 이미지 분류에 성공적으로 적용될 수 있는가?
• RQ2 이미지를 파형으로 간주함으로써 의미 있는 데이터 혼합이 가능해지고 모델의 일반화 성능이 향상되는가?
• RQ3 네트워크 내 혼합 위치의 선택(예: 입력층 대비 특징층)이 성능에 어떤 영향을 미치는가?
• RQ4 성능을 최대화하기 위해 혼합할 최적의 클래스 수는 얼마인가(예: 두 개 vs. 세 개)?
• RQ5 BC 학습이 특징 분포에 구조적 제약을 부여하여 더 나은 일반화를 이끌어내는가?

주요 결과

• ResNeXt-101 (64×4d)를 사용하여 BC 학습은 ImageNet-1K의 top-1 오차율을 20.4%에서 19.4%로 감소시켰습니다.
• 개선된 BC+ 방법을 통해 Shake-Shake Regularization를 사용한 CIFAR-10의 오차율은 2.86%에서 2.26%로 감소했습니다.
• 절단 실험에서 서로 다른 클래스의 두 이미지를 혼합하는 것(N=2)이 무작위 혼합이나 동일 클래스 혼합보다 일관되게 성능이 뛰어났습니다.
• 입력층에서 혼합하는 것이 가장 뛰어난 성능을 보였고, 더 깊은 층(예: pool2)에서 혼합하는 것은 성능을 떨어뜨렸습니다.
• 3D PCA를 통한 특징 시각화 결과, BC 학습은 내부 클래스 분산을 줄이고 더 구형이며 조밀하게 군집된 특징 분포를 생성하는 것으로 확인되었습니다.
• 간단한 11층 CNN부터 최신 기술 수준의 모델에 이르기까지 다양한 아키텍처에서 일관된 성능 향상을 달성했습니다.