[논문 리뷰] Acquire, Augment, Segment & Enjoy: Weakly Supervised Instance Segmentation of Supermarket Products

Patrick Follmann, Bertram Drost외 1명|arXiv (Cornell University)|2018. 07. 05.

Industrial Vision Systems and Defect Detection참고 문헌 18인용 수 3

한 줄 요약

이 논문은 단일 이미지 레이블만을 사용하여 슈퍼마켓 제품의 인스턴스 세그멘테이션을 위한 약한 감독 방법을 제안한다. 간단한 턴테이블 기반 촬영과 고도의 데이터 증강 기법을 활용해 최소한의 수동 레이블링으로도 고품질의 훈련 데이터를 생성한다. 도메인 스플릿이 존재하더라도 이 방법은 평균 정밀도 68.9%를 달성하여 약한 감독의 기대를 초월하며, 완전 감독 기반 기준선의 80.1% 수준에 도달한다.

ABSTRACT

Grocery stores have thousands of products that are usually identified using barcodes with a human in the loop. For automated checkout systems, it is necessary to count and classify the groceries efficiently and robustly. One possibility is to use a deep learning algorithm for instance-aware semantic segmentation. Such methods achieve high accuracies but require a large amount of annotated training data. We propose a system to generate the training annotations in a weakly supervised manner, drastically reducing the labeling effort. We assume that for each training image, only the object class is known. The system automatically segments the corresponding object from the background. The obtained training data is augmented to simulate variations similar to those seen in real-world setups.

연구 동기 및 목표

• 자동 체크아웃 시스템과 같은 산업 응용 분야에서 인스턴스 세그멘테이션의 높은 레이블링 비용을 줄이기 위해.
• 오직 이미지 레벨의 클래스 레이블만을 사용하여 수동 레이블링을 최소화하면서 딥 러닝 모델을 훈련시킬 수 있도록 하기 위해.
• 통제된 환경에서의 단순한 훈련 이미지와 실제 복잡한 시험 환경 사이의 도메인 스플릿 문제를 맞춤형 데이터 증강 기법을 통해 해결하기 위해.
• 약한 감독 학습이 완전 감독 기반 기준선과 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.
• 통제된 환경에서 특정 제품 카테고리의 훈련 데이터를 생성하기 위한 확장 가능하고 노력이 적은 파이프라인을 개발하기 위해.

제안 방법

• 각 제품 이미지를 단일 클래스 레이블과 함께 턴테이블에서 촬영하여 기초적인 이미지 처리 기법을 통해 자동으로 전경 세그멘테이션을 수행한다.
• 균일한 배경을 가진 이미지에서 오츠 방법의 임계값 설정과 형태학적 연산을 사용해 객체 마스크를 추출한다.
• 실제 환경의 다양성을 시뮬레이션하기 위해 무작위 자르기, 스케일링, 회전, 색상 왜곡 등의 데이터 증강 기법을 적용한다.
• 반사와 겹치는 물체 문제를 해결하기 위해 두 가지 새로운 증강 단계인 조명 변화 모델링과 가림 시뮬레이션을 도입한다.
• 약한 감독 기반의 증강된 훈련 데이터를 기반으로 인스턴스 세그멘테이션 모델(예: Mask R-CNN)을 훈련시킨다.
• 도메인 스플릿 조건에서 D2S 데이터셋에서 성능을 평가하며, 약한 감독 모델과 완전 감독 기반 기준선을 비교한다.

실험 결과

연구 질문

• RQ1 오직 이미지 레벨의 클래스 레이블과 경계 상자 또는 픽셀 마스크 없이도 인스턴스 세그멘테이션 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 간단한 턴테이블 촬영에서 자동으로 생성된 마스크가 유용한 훈련 데이터를 제공하는 데 얼마나 효과적인가?
• RQ3 데이터 증강이 통제된 훈련 이미지와 실제 복잡한 시험 환경 사이의 도메인 스플릿을 어느 정도 완화할 수 있는가?
• RQ4 약한 감독 학습이 산업용 인스턴스 세그멘테이션 작업에서 완전 감독 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 증강된 훈련 이미지의 수가 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 약한 감독 기반 방법은 도메인 스플릿 조건에서 D2S 테스트 세트에서 평균 정밀도(mAP) 68.9%를 달성했으며, 완전 감독 기반 기준선의 80.1% 수준에 도달한다.
• 오직 클래스 수준의 레이블과 단순한 촬영 방식을 사용함에도 불구하고, 자동으로 생성된 마스크는 딥 러닝에 적합한 고품질의 훈련 데이터를 제공한다.
• 제안된 조명 변화 모델링 및 가림 시뮬레이션 증강 단계는 반사와 겹치는 제품과 같은 실제 환경의 과제에 대한 강건성을 크게 향상시킨다.
• 일정 수를 초월해 증강된 이미지의 수를 늘려도 성능 향상이 없음을 확인하여, 데이터의 품질과 현실성은 양보다 더 중요하다는 것을 시사한다.
• 레이블링된 훈련 이미지의 수가 많아도 데이터 증강이 여전히 유용함을 확인하여, 증강 기법이 단순한 데이터 확장 이상의 일반화 기여 역할을 한다는 것을 보여준다.
• 최소한의 레이블링 노력으로도 경쟁 가능한 인스턴스 세그멘테이션 성능을 달성할 수 있어, 슈퍼마켓 자동화 분야에서의 산업적 도입 가능성을 입증한다.