[논문 리뷰] Repaint: Improving the Generalization of Down-Stream Visual Tasks by Generating Multiple Instances of Training Examples

Amin Banitalebi-Dehkordi, Yong Zhang|arXiv (Cornell University)|2021. 10. 20.

Advanced Neural Network Applications참고 문헌 40인용 수 4

한 줄 요약

이 논문은 객체의 형태와 구조를 유지하면서 다양한 질감을 가진 훈련 이미지의 변형을 생성하는 데이터 증강 방법 Repaint을 제안한다. 이미지에 다양한 조명, 계절, 색상 효과를 적용하여 재구성함으로써, 여러 아키텍처와 데이터 규모에서 이미지 분류 및 객체 검출과 같은 후행 작업의 일반화 성능을 향상시킨다.

ABSTRACT

Convolutional Neural Networks (CNNs) for visual tasks are believed to learn both the low-level textures and high-level object attributes, throughout the network depth. This paper further investigates the `texture bias' in CNNs. To this end, we regenerate multiple instances of training examples from each original image, through a process we call `repainting'. The repainted examples preserve the shape and structure of the regions and objects within the scenes, but diversify their texture and color. Our method can regenerate a same image at different daylight, season, or weather conditions, can have colorization or de-colorization effects, or even bring back some texture information from blacked-out areas. The in-place repaint allows us to further use these repainted examples for improving the generalization of CNNs. Through an extensive set of experiments, we demonstrate the usefulness of the repainted examples in training, for the tasks of image classification (ImageNet) and object detection (COCO), over several state-of-the-art network architectures at different capacities, and across different data availability regimes.

연구 동기 및 목표

• 모델이 시각적 인식에서 형태보다 질감에 더 의존하는 컨volutional 네트워크(CNN)의 질감 편향을 조사한다.
• 새로운 데이터 증강 전략을 도입하여 딥 네트워크의 과적합 및 낮은 일반화 성능 문제를 해결한다.
• 객체의 구조를 변경하지 않고 의미적으로 일관되며 시각적으로 다양한 훈련 예제를 생성하는 방법을 개발한다.
• 다양한 네트워크 아키텍처와 데이터 스케일에서 이미지 분류 및 객체 검출 작업의 모델 강건성과 성능을 향상시킨다.
• 기존 훈련 파ip라인과 호환되는 일반적인, 상호보완적인 증강 기법으로서의 Repainted 데이터의 효과를 입증한다.

제안 방법

• 형태와 공간적 레이아웃을 유지하면서 질감과 색상을 교체하는 '재도색(repainting)'을 수행하기 위해 경량의 학습 가능한 생성 모델(GAN 기반)을 사용한다.
• 약한 지도 학습 또는 비지도 학습 기반의 인스턴스 세그멘테이션 마스크(예: DeepLab-v2 또는 Felzenszwalb-Huttenlocher)를 활용해 영역별로 재도색을 유도한다.
• 후행 작업(예: 분류 또는 검출)과 함께 엔드 투 엔드로 생성 모듈을 훈련하여 임무에 맞는 질감 다양성을 최적화한다.
• 재도색된 이미지를 증강된 훈련 데이터로 적용함으로써, 새로운 애너테이션 없이도 데이터셋의 다양성을 효과적으로 증가시킨다.
• 각 원본 이미지당 다수의 서로 다른 재도색된 버전을 생성하기 위해 변동형 생성 과정을 사용하여 데이터 증강 능력을 향상시킨다.
• 다양한 기반 모델과 호환 가능한, 미분 가능하고 인라인(in-place) 증강 레이어로 재도색 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 형태를 유지하면서 다양한 질감과 색상을 가진 이미지를 재도색하는 것이 후행 시각 작업의 일반화 성능 향상에 기여하는가?
• RQ2 다양한 네트워크 아키텍처에서 표준 데이터 증강 기법과 비교해 볼 때, 재도색 기법의 성능 향상은 어떠한가?
• RQ3 1% 또는 10%의 ImageNet 또는 COCO 데이터와 같은 저데이터 환경에서 이 방법이 더 큰 성능 향상을 이끌어내는가?
• RQ4 재도색 과정에서 사용하는 세그멘테이션 마스크의 품질이 성능 향상에 얼마나 민감한가?
• RQ5 아키텍처 수정 없이도 이미지 분류 및 객체 검출 작업에 효과적으로 적용될 수 있는가?

주요 결과

• MobileNetv2부터 ResNet-50까지 다양한 모델에서 ImageNet의 정확도를 +0.58%에서 +0.99%까지 향상시키며, 평균 +0.77%의 성능 향상을 기록했다(DeepLab-v2 마스크 사용 시).
• EfficientDet 모델 기반 COCO 객체 검출에서 mAP@0.50:0.95를 +1.10%에서 +1.59%까지 향상시키며, 평균 +1.22%의 성능 향상을 기록했다(DeepLab-v2 마스크 사용 시).
• 저데이터 환경에서 가장 큰 성능 향상을 기록했다: ImageNet에서 1% 훈련 데이터로도 정확도가 +4.09% 향상되었고, COCO에서는 1% 데이터로 mAP가 +4.14% 향상되었다.
• 낮은 품질의 세그멘테이션 마스크(예: FH)를 사용할 경우에도 성능 향상이 유의미하게 유지되었으며, ImageNet에서 평균 +0.64% 향상, COCO에서 평균 +0.96% 향상되었다.
• 계산 오버헤드는 관리 가능했으며, 분류 작업의 경우 훈련 시간이 약 66% 증가했고, 검출 작업의 경우 약 53% 증가했으며, 모델 압축 또는 선택적 적용을 통해 줄일 수 있었다.
• 재도색된 예제를 통해 모델이 더 강건한 특징을 학습함을 입증했으며, 분포 이탈 상황에서의 일반화 능력 향상과 과적합 감소가 특히 저데이터 설정에서 두드러졌다.