[논문 리뷰] Image Augmentation for Multitask Few-Shot Learning: Agricultural Domain Use-Case

Sergey Nesteruk, Dmitrii Shadrin외 1명|arXiv (Cornell University)|2021. 02. 24.

Advanced Neural Network Applications참고 문헌 31인용 수 10

한 줄 요약

이 논문은 식물 이미지가 적은 경우에 다양한 훈련 환경을 합성하기 위해 스케일링, 회전, 노이즈, 배경 혼합 등 다양한 변환을 결합하는 다중 작업 이미지 증강 프레임워크인 MultiPartAugmentor를 제안한다. DeepLabV3를 사용한 의미적 세그멘테이션 평가에서 표준 증강 기법보다 9% 상대적인 F1 점수 향상을 기록했고, 증강 없이 훈련한 경우보다는 12% 향상되었다.

ABSTRACT

Large datasets' availability is catalyzing a rapid expansion of deep learning in general and computer vision in particular. At the same time, in many domains, a sufficient amount of training data is lacking, which may become an obstacle to the practical application of computer vision techniques. This paper challenges small and imbalanced datasets based on the example of a plant phenomics domain. We introduce an image augmentation framework, which enables us to extremely enlarge the number of training samples while providing the data for such tasks as object detection, semantic segmentation, instance segmentation, object counting, image denoising, and classification. We prove that our augmentation method increases model performance when only a few training samples are available. In our experiment, we use the DeepLabV3 model on semantic segmentation tasks with Arabidopsis and Nicotiana tabacum image dataset. The obtained result shows a 9% relative increase in model performance compared to the basic image augmentation techniques.

연구 동기 및 목표

• 농업 컴퓨터 비전 분야에서 부족하고 불균형하며 저품질인 식물 이미지 데이터셋 문제를 해결한다.
• 큰 규모의 레이블이 부여된 데이터셋을 수집하는 데 비용과 시간이 많이 들기 때문에, 식물 형질 빔 분석에서 효과적인 소수 학습을 가능하게 한다.
• 최소한의 입력 데이터로부터 다중 비전 작업(세그멘테이션, 검출, 분류)을 지원하는 효율적이고 실시간으로 동작하는 이미지 증강 시스템을 개발한다.
• 정확한 의미적 및 구조적 현실감을 유지하는 합성 데이터를 사용하여 모델의 일반화 능력과 성능을 향상시킨다.

제안 방법

• 스케일링, 회전, 노이즈 주입 등 랜덤 변환을 적용하여 다수의 식물 객체를 조합함으로써 합성 환경를 생성하는 MultiPartAugmentor 프레임워크를 제안한다.
• 수축 비율(s), 기울기 계수(θ), 랜덤 배경 선택 등의 매개변수를 포함한 객체 수준의 증강을 도입하여 환경의 다양성을 높인다.
• 개별 객체에 변환을 적용한 후 복합 이미지로 조합하는 환경 생성 파이프라인을 사용하며, 자동으로 바운딩 박스와 마스크를 생성한다.
• 기준 비교를 위해 Albumentations 라이브러리를 활용해 HorizontalFlip, VerticalFlip, ShiftScaleRotate, GridDistortion 등의 데이터 증강 규칙을 적용한다.
• 일致한 평가를 위해 DeepLabV3를 사용하고 ResNet-101을 백본으로 삼으며, 로지스틱 손실 함수와 학습률 스케줄링을 적용한다.
• 실시간 생성이 가능한 RAM 제약 내에서 메모리 사용량을 추정하기 위해 M = 3n¯h¯w[(1+m)p + o + 2] + õ 를 사용한다.

실험 결과

연구 질문

• RQ1 합성 이미지 증강 프레임워크가 식물 이미지 데이터가 제한된 소수 학습 시나리오에서 모델 성능을 크게 향상시킬 수 있는가?
• RQ2 세그멘테이션, 검출, 분류를 지원하는 다중 작업 증강 기법이 표준 증강 기법과 비교해 세그멘테이션 정확도에서 어떤 차이를 보이는가?
• RQ3 랜덤 변환을 적용한 객체 수준의 조합이 식물 형질 빔 분석에서 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 방법이 실제 소규모 식물 데이터셋에서 세그멘테이션 작업에서 표준 증강 기법과 증강 없이 훈련한 경우보다 모두 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 증강 기법은 의미적 세그멘테이션 작업에서 IPPN 데이터셋 기준으로 표준 증강 기법 대비 9% 상대적인 F1 점수 향상을 기록했다.
• 증강 없이 훈련한 경우와 비교해 F1 점수는 12% 상승했으며, 이는 합성 데이터에서의 뚜렷한 성능 향상을 입증한다.
• 증강 데이터로 훈련된 모델는 높은 학습률(0.001)을 사용해 오직 20 에포크 만에 최적 성능에 도달했으며, 이는 빠른 수렴을 의미한다.
• 이 프레임워크는 겹치는 객체, 노이즈, 흐림 등이 포함된 다양한 현실감 있는 환경을 성공적으로 생성했으며, 최소한의 입력 샘플로도 다중 작업 학습을 가능하게 했다.
• 메모리 추정 결과, 시나리오 복잡도에 따라 선형적으로 증가하는 RAM 사용량을 보이며 실시간 환경에서의 실행 가능성이 확인되었다.