[논문 리뷰] Modeling Visual Context is Key to Augmenting Object Detection Datasets

Nikita Dvornik, Julien Mairal외 1명|arXiv (Cornell University)|2018. 07. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 13

한 줄 요약

이 논문은 객체 검출을 위한 데이터 증강 방법을 제안하며, 분할 애너테이션과 학습된 시각적 맥락 모델을 활용하여 객체를 시나리오에 현실적으로 배치함으로써 평균 평균 정밀도(mAP)를 크게 향상시킨다. 특히 레이블이 제한된 경우에 유의미한 성능 향상을 이룬다. CNN 기반 맥락 모델을 통해 맥락적 관계를 모델링함으로써, 무작위 배치 및 표준 증강 기법을 초월한 성능을 달성하였으며, VOC’12에서 훈련 데이터의 25%만을 사용할 경우 최대 6%의 상대적 향상을 기록하였다.

ABSTRACT

Performing data augmentation for learning deep neural networks is well known to be important for training visual recognition systems. By artificially increasing the number of training examples, it helps reducing overfitting and improves generalization. For object detection, classical approaches for data augmentation consist of generating images obtained by basic geometrical transformations and color changes of original training images. In this work, we go one step further and leverage segmentation annotations to increase the number of object instances present on training data. For this approach to be successful, we show that modeling appropriately the visual context surrounding objects is crucial to place them in the right environment. Otherwise, we show that the previous strategy actually hurts. With our context model, we achieve significant mean average precision improvements when few labeled examples are available on the VOC'12 benchmark.

연구 동기 및 목표

• 훈련 데이터가 부족할 때 객체 검출에서 과적합 문제를 해결하기 위해.
• 기본적인 기하학적 및 색상 변형을 초월하여 객체 검출을 위한 데이터 증강을 향상시키기 위해.
• 데이터 증강 중에 시각적 맥락을 명시적으로 모델링하면 검출 성능 향상이 이루어지는지 조사하기 위해.
• 분할 애너테이션과 학습된 맥락 모델을 활용해 객체 인스턴스를 현실적인 시나리오 맥락에 배치할 수 있는 방법을 개발하기 위해.

제안 방법

• 분할 마스크를 입력으로 사용하여 장면 맥락 기반으로 타당한 객체 배치를 예측하기 위해 컨volutional 신경망(CNN)을 학습한다.
• 애너테이션된 이미지에서 객체 인스턴스를 추출하고, 맥락 모델의 예측 결과를 활용해 새로운 장면에 삽입함으로써 공간적 및 의미적 일관성을 확보한다.
• 이 방법은 이중 단계 블렌딩 전략을 사용한다: 첫 번째로 맥락 인식 배치를 통해 객체 크롭을 크기 조정하고 재배치하고, 두 번째로 블렌딩 아티팩트를 줄이기 위해 재블렌딩 기법을 적용한다.
• 맥락 모델은 VOC’12 분할 데이터를 기반으로 엔드 투 엔드로 학습되어 객체와 그 주변의 공간적 및 의미적 관계를 학습한다.
• 훈련 예제의 수를 체계적으로 줄임으로써 저데이터 환경에서의 성능을 평가한다.
• 제거 실험을 통해 무작위 배치, 맥락 유도 배치, 맥락 모델링 제거를 비교함으로써 그 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 데이터 증강 중에 시각적 맥락을 모델링하면 무작위 배치 대비 일반화 성능이 향상되는가?
• RQ2 소량의 레이블 예제가 존재할 경우 맥락 인식 데이터 증강이 성능에 어떤 영향을 미치는가?
• RQ3 학습된 맥락 모델이 검출 mAP 향상에 기여하는 현실적인 객체 배치를 효과적으로 예측할 수 있는가?
• RQ4 블렌딩 아티팩트와 이미지 확대 기법이 증강 품질과 모델 성능에 어떤 영향을 미치는가?
• RQ5 저데이터 환경에서 기존 데이터 증강 기법과 무작위 배치 대비 제안된 방법의 mAP 향상은 어떻게 비교되는가?

주요 결과

• 맥락 인식 데이터 증강 방법은 VOC’12에서 57.5%의 평균 평균 정밀도(mAP)를 달성하였으며, 기본 모델(48.7%) 및 무작위 배치(48.3%)보다 유의미한 향상을 보였다.
• 훈련 데이터의 25%만을 사용할 경우 맥락 유도 방법은 38.3%의 mAP를 기록하였고, 기본 모델의 32.5% 대비 5.8%포인트 향상된 성과를 보였다.
• 맥락 모델을 제거한 경우 mAP는 33.9%로 하락하여 맥락 모델링이 성능 향상에 필수적임을 입증하였다.
• 이 방법은 과적합을 줄이고 일반화 능력을 향상시켰으며, 특히 저데이터 환경에서 성능 향상이 가장 두드러졌다.
• 분할 마스크에 아티팩트가 포함되거나 맥락 모델이 잘못된 객체 클래스를 예측할 경우, 자연스럽지 않은 배치가 발생하는 실패 케이스가 관찰되었다.
• 확대 기반 증강에서 발생하는 아티팩트는 특히 확대된 영역에서 뚜렷하게 보였으며, 이는 해당 기반 기법의 한계를 드러내었다.