[논문 리뷰] Context Augmentation for Convolutional Neural Networks

Ayşegül Dündar, Ignacio Garcia‐Dorado|arXiv (Cornell University)|2017. 11. 22.

Advanced Neural Network Applications참고 문헌 24인용 수 3

한 줄 요약

이 논문은 전경 객체와 배경을 분리하고 타겟된 증강 기법을 적용하여 컨volutional 신경망(ConvNets)을 위한 맥락 인식 데이터 증강 기법을 제안한다. 다양한 배경 맥락에서 훈련하고, 분할된 증강 기법(예: 전경에만 플립, 이동 적용)을 사용함으로써, 라벨이 부여된 이미지 500장만을 사용할 때 이미지 분류 정확도가 47.4%에서 59.5%로 25.5% 향상되어, 데이터가 적은 환경에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recent enhancements of deep convolutional neural networks (ConvNets) empowered by enormous amounts of labeled data have closed the gap with human performance for many object recognition tasks. These impressive results have generated interest in understanding and visualization of ConvNets. In this work, we study the effect of background in the task of image classification. Our results show that changing the backgrounds of the training datasets can have drastic effects on testing accuracies. Furthermore, we enhance existing augmentation techniques with the foreground segmented objects. The findings of this work are important in increasing the accuracies when only a small dataset is available, in creating datasets, and creating synthetic images.

연구 동기 및 목표

• 라벨이 부족한 환경에서 배경 맥락이 컨볼루션 신경망(ConvNet)의 성능에 미치는 영향을 조사하는 것.
• 작은 라벨 데이터셋에서 낮은 정확도 문제를 해결하기 위해 데이터 증강 기법을 향상시키는 것.
• 전경-배경 분할을 활용한 새로운 증강 전략을 개발하여 일반화 능력을 향상시키는 것.
• 최소한의 라벨 데이터로도 합성 데이터셋을 생성하고 더 나은 데이터 정제를 가능하게 하는 것.

제안 방법

• 저자들은 STL-10 데이터셋의 이미지를 수동 파싱을 통해 전경 객체와 배경으로 분할한다.
• 동일한 카테고리, 다른 카테고리의 배경 또는 평균 배경 값으로 대체된 배경을 사용하여 전경 객체와 조합함으로써 증강된 훈련 데이터를 생성한다.
• 분할된 데이터 증강은 배경을 유지하면서 전경 객체에만 변환(플립, 이동, 회전)을 적용함으로써 수행된다.
• 기본 비교를 위해 전체 이미지에 표준 증강 기법(예: 무작위 플립, 이동, 회전)을 적용한다.
• 표준 증강과 분할 증강을 조합하여 다양성과 성능을 극대화한다.
• STL-10의 500장 및 5000장의 서브셋에서 배경 구성 및 증강 전략에 따른 정확도를 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한된 경우 배경 맥락이 컨볼루션 신경망(ConvNet)의 정확도에 어떤 영향을 미치는가?
• RQ2 전경-배경 분할을 통해 소규모 데이터 이미지 분류에서 일반화 능력을 향상시킬 수 있는가?
• RQ3 제한된 라벨 데이터와 함께 사용할 때, 표준 증강 기법과 분할 증강 기법 중 어느 것이 더 높은 정확도를 제공하는가?
• RQ4 전경 객체와 동일한 카테고리 또는 다른 카테고리의 배경을 사용할 경우 모델 성능에 영향을 미치는가?

주요 결과

• 라벨이 500장 뿐인 경우 기준 정확도는 47.4%였고, 표준 및 분할 증강을 조합한 결과 59.5%로 향상되어 상대적 향상률이 25.5%에 달했다.
• 전경 객체와 동일한 카테고리의 배경을 사용할 경우 정확도는 기준치 대비 54.4%로 상승했다.
• 분할된 수평 플립은 정확도를 55.4%로 향상시켰고, 분할된 이동 적용으로 더 높은 58.9%까지 상승시켰다.
• 최종 모델은 모든 효과적인 증강 기법(회전은 성능 향상 없어 제외)을 조합하여 500장의 이미지로 59.5%의 정확도를 달성했다.
• 표준 증강 기법은 개별적으로 분할 증강보다 높은 성능를 보였지만, 두 기법을 조합함으로써 성능 향상이 더욱 두드러졌다.
• 배경 맥락은 분류에 결정적인 역할을 하며, 일부 사례에서는 배경만으로도 정확한 예측을 위한 충분한 단서를 제공했다.