[논문 리뷰] On the Importance of Visual Context for Data Augmentation in Scene Understanding

Nikita Dvornik, Julien Mairal외 1명|arXiv (Cornell University)|2018. 09. 06.

Advanced Neural Network Applications참고 문헌 61인용 수 7

한 줄 요약

이 논문은 객체 검출 및 세분화와 같은 시cene 이해 작업을 위한 맥락 인식 데이터 증강 방법을 제안한다. 컨볼루션 네트워크 기반 맥락 모델을 사용해 장면 내 객체의 적절한 배치 위치를 예측함으로써, 특히 저자료 환경에서 모델의 일반화 능력을 크게 향상시킨다. 이는 유명한 PASCAL VOC 및 COCO 벤치마크에서 최신 기술 수준의 성능 향상을 보이며, 약한 지도 학습을 통한 마스크 생성에 대해 경계 상자만 이용 가능한 경우에도 성과를 낸다.

ABSTRACT

Performing data augmentation for learning deep neural networks is known to be important for training visual recognition systems. By artificially increasing the number of training examples, it helps reducing overfitting and improves generalization. While simple image transformations can already improve predictive performance in most vision tasks, larger gains can be obtained by leveraging task-specific prior knowledge. In this work, we consider object detection, semantic and instance segmentation and augment the training images by blending objects in existing scenes, using instance segmentation annotations. We observe that randomly pasting objects on images hurts the performance, unless the object is placed in the right context. To resolve this issue, we propose an explicit context model by using a convolutional neural network, which predicts whether an image region is suitable for placing a given object or not. In our experiments, we show that our approach is able to improve object detection, semantic and instance segmentation on the PASCAL VOC12 and COCO datasets, with significant gains in a limited annotation scenario, i.e. when only one category is annotated. We also show that the method is not limited to datasets that come with expensive pixel-wise instance annotations and can be used when only bounding boxes are available, by employing weakly-supervised learning for instance masks approximation.

연구 동기 및 목표

• 랜덤 객체 배치 방식의 한계를 해결함으로써, 객체 검출 및 세분화와 같은 세밀한 시cene 이해 작업에서의 성능 저하 문제를 해결하고자 한다.
• 시각적 맥락을 활용하여 더 현실적인 훈련 샘플을 생성함으로써 모델의 일반화 능력을 향상시키는 방법을 개발하고자 한다.
• 저자료 환경에서 효과적인 데이터 증강을 위해 명시적 맥락 모델링이 필수적임을 입증하고자 한다.
• 피그처 수준의 애너테이션이 필요 없음을 입증하고자 하며, 약한 지도 학습 기반 마스크 근사화를 통해 경계 상자 애너테이션만으로도 효과적으로 작동함을 보여주고자 한다.

제안 방법

• 특정 이미지 영역에 주어진 객체 카테고리가 배치될 가능성에 대해 주변 시각적 맥락을 기반으로 예측하는 컨볼루션 신경망(맥락 모델)을 훈련한다.
• 맥락 모델은 주변 장면이 해당 객체에 대해 의미적으로 적합한지 평가함으로써 후보 객체 배치 위치를 평가한다.
• 맥락 모델이 적합하다고 판단한 위치에만 객체를 삽입함으로써 공간적 및 의미적 타당성을 확보한다.
• 피그처 수준의 애너테이션이 없을 경우, 경계 상자 애너테이션에서 약한 지도 학습을 통해 객체 마스크를 근사한다.
• 기존 훈련 파ip라인에 통합하기 위해 현실적인 객체 배치를 가진 합성 훈련 이미지를 생성한다.
• BlitzNet300를 포함한 다양한 아키텍처를 사용하여 PASCAL VOC12 및 COCO 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 랜덤 배치 방식에 비해 명시적 시각적 맥락 모델링이 객체 검출 및 세분화 작업에서 더 나은 데이터 증강 성능을 이끌어내는가?
• RQ2 사용 가능한 애너테이션 예제 수가 적을 경우, 제안된 방법이 상당한 성능 향상을 달성할 수 있는가?
• RQ3 비용이 많이 드는 피그처 수준 인스턴스 애너테이션이 없이도 효과적으로 맥락 인식 데이터 증강을 수행할 수 있는가?
• RQ4 맥락 모델을 훈련하는 데 사용된 데이터의 양이 검출 및 세분화 모델의 최종 성능에 어떤 영향을 미치는가?
• RQ5 경계 상자 애너테이션에서 약한 지도 학습을 통해 마스크를 근사하는 것이 효과적인 맥락 인식 데이터 증강을 가능하게 하는가?

주요 결과

• PASCAL VOC12 데이터셋에서 맥락 모델을 훈련하는 데 10%의 훈련 데이터만 사용해도 검출 mAP가 66.1%이고 세분화 mIoU가 65.1%에 도달하여 제한된 지도 학습 조건에서도 뛰어난 성능을 보였다.
• 맥락 모델링에 사용된 데이터의 약 75% 수준에서 성능이 정점에 도달하며, 이는 특정 데이터 임계값을 초과하면 수익 감소 현상이 나타남을 시사한다.
• 저자료 환경에서 상당한 성능 향상을 기록하였으며, 특히 한 카테고리의 객체만 애너테이션된 경우에 효과적이었고, 소수 샘플 학습 시나리오에서의 효과성을 입증하였다.
• COCO 데이터셋에서도 검출 및 세분화 성능 향상을 기록하여, PASCAL VOC 벤치마크를 넘어서도 효과적임을 확인하였다.
• 오직 5%의 데이터로만 훈련된 경우 성능가까이 기준선 수준으로 떨어지며, 맥락 모델링이 효과적이기 위해서는 충분한 데이터가 필요함을 확인하였다.
• 약한 지도 학습 설정으로도 잘 일반화되어, 마스크 근사화에 경계 상자 애너테이션만으로도 성능 향상을 달성하였다.