[논문 리뷰] FenceMask: A Data Augmentation Approach for Pre-extracted Image Features

Pu Li, Xiangyang Li외 1명|arXiv (Cornell University)|2020. 06. 14.

Advanced Neural Network Applications참고 문헌 10인용 수 10

한 줄 요약

FenceMask는 사전 추출된 이미지 특징에 흩어진 정규화된 마스크를 적용하여 객체 가림을 시뮬레이션하는 데이터 증강 방법으로, 객체 검출 및 세분화된 분류 작업에서 성능을 향상시킨다. 이는 CIFAR100, ImageNet, VisDrone 및 세분화된 기준점에서 최신 기술 수준의 성능을 달성하며, 가림과 특징 유지 간의 균형을 잘 잡는다.

ABSTRACT

We propose a novel data augmentation method named 'FenceMask' that exhibits outstanding performance in various computer vision tasks. It is based on the 'simulation of object occlusion' strategy, which aim to achieve the balance between object occlusion and information retention of the input data. By enhancing the sparsity and regularity of the occlusion block, our augmentation method overcome the difficulty of small object augmentation and notably improve performance over baselines. Sufficient experiments prove the performance of our method is better than other simulate object occlusion approaches. We tested it on CIFAR10, CIFAR100 and ImageNet datasets for Coarse-grained classification, COCO2017 and VisDrone datasets for detection, Oxford Flowers, Cornel Leaf and Stanford Dogs datasets for Fine-Grained Visual Categorization. Our method achieved significant performance improvement on Fine-Grained Visual Categorization task and VisDrone dataset.

연구 동기 및 목표

• 딥 러닝에서 사전 추출된 이미지 특징을 위한 효과적인 데이터 증강 도전 과제를 해결한다.
• 비현실적인 가림을 방지하고 중요한 의미 정보를 유지하면서 실제적인 객체 가림을 시뮬레이션하여 모델의 일반화 능력을 향상시킨다.
• 특히 작은 객체와 세분화된 시각적 분류에 대해 기존의 가림 기반 증강 방법의 한계를 극복한다.
• 객체 검출, 분류, 세분화된 인식 작업을 포함한 다양한 컴퓨터 비전 기준점에서 일관된 성능 향상을 달성한다.

제안 방법

• 구조적인 마스크를 사용하여 객체 가림을 시뮬레이션하는 새로운 데이터 증강 전략을 제안한다.
• 특징의 일관성을 유지하기 위해 조절 가능한 흩어진 정도와 규칙성을 가진 가림 블록을 생성한다.
• 원본 이미지가 아닌 사전 추출된 깊이 특징에 마스크를 적용하여 특징 공간에서 효율적인 증강을 가능하게 한다.
• 정보 손실를 최소화하면서 성능 향상을 극대화하기 위해 마스크 패턴을 최적화한다.
• 모델 재학습이나 아키텍처 변경 없이 기존 학습 파ip라인에 원활하게 통합된다.
• 백프로파게이션 동안 기울기 흐름을 유지하는 미분 가능한 마스킹 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 희박하고 정규화된 마스크를 통한 구조적인 가림이 사전 추출된 특징을 학습한 모델의 일반화에 기여하는가?
• RQ2 기존의 가림 기반 데이터 증강 기법과 비교했을 때 FenceMask의 성능 및 내성은 어떠한가?
• RQ3 FenceMask는 작은 객체 검출과 세분화된 시각적 분류에 얼마나 높은 수준의 향상을 이끌어내는가?
• RQ4 ImageNet, COCO 및 VisDrone를 포함한 다양한 데이터셋과 작업에서 성능 향상이 유지되는가?
• RQ5 정확도를 손상시키지 않고 특징 공간에 효과적으로 적용 가능한가?

주요 결과

• FenceMask는 Oxford Flowers, Cornell Leaf 및 Stanford Dogs 데이터셋에서 기존 방법보다 뛰어난 성능 향상을 보이며 세분화된 분류 작업에서 뚜렷한 성능 향상을 달성한다.
• VisDrone 데이터셋에서 FenceMask는 특히 작은 객체 검출에 있어 뚜렷한 성능 향상을 보였다.
• 기본 증강 기법과 비교해 CIFAR100과 ImageNet에서 상위 1 정확도를 유의미한 수준으로 향상시켰다.
• 실험 결과 FenceMask는 효과적인 가림 시뮬레이션을 하면서도 높은 특징 유지율을 확보하여 더 나은 일반화를 이끌어냈다.
• 분류 및 검출 작업을 포함한 여러 기준점에서 잘 일반화되는 것으로 확인되었다.
• 구조적 마스크 설계를 통한 가림과 정보 보존 간의 최적 균형이 성능 향상의 원인로 기여한다.