[논문 리뷰] TACO: Trash Annotations in Context for Litter Detection

Pedro F. Proença, Pedro Simões|arXiv (Cornell University)|2020. 03. 16.

Microplastics and Plastic Pollution참고 문헌 7인용 수 112

한 줄 요약

TACO는 크라우드소싱으로 만들어진 쓰레기 탐지와 분할을 위한 오픈 이미지 데이터셋이며, 두 개의 분류체계(TACO-1 및 TACO-10)에서 4-fold 교차검증으로 Mask R-CNN을 평가했다. 결과는 가능성이 있지만 더 많은 주석과 작은 물체를 다루기 위한 해상도 향상이 필요함을 시사한다.

ABSTRACT

TACO is an open image dataset for litter detection and segmentation, which is growing through crowdsourcing. Firstly, this paper describes this dataset and the tools developed to support it. Secondly, we report instance segmentation performance using Mask R-CNN on the current version of TACO. Despite its small size (1500 images and 4784 annotations), our results are promising on this challenging problem. However, to achieve satisfactory trash detection in the wild for deployment, TACO still needs much more manual annotations. These can be contributed using: http://tacodataset.org/

연구 동기 및 목표

• 야생 환경에서 자율 쓰레기 탐지를 향상시키기 위해 맥락이 풍부한 쓰레기 데이터셋의 생성을 동기 부여한다.
• TACO 데이터셋, 그 주석 체계 및 크라우드소싱 도구를 설명한다.
• 두 개의 분류체계를 사용하여 쓰레기 탐지 및 분할에서 Mask R-CNN 성능을 평가한다.
• 배경을 균형 있게 만들고 학습을 강화하기 위한 데이터 증강 및 이식(transplantation) 방법을 논의한다.
• 주석 확장 및 소형 객체 탐지 개선을 위한 한계점 식별 및 향후 방향을 제시한다.

제안 방법

• 크라우드소싱으로 얻은 1500장의 고해상도 이미지와 4784개의 주석으로 TACO를 소개한다.
• 60개 카테고리의 계층적 분류체계로 28개의 상위 카테고리에 걸쳐 쓰레기를 주석하고 Unlabeled litter 클래스를 추가한다.
• Mask R-CNN (ResNet-50 with FPN, 입력 1024x1024)을 두 작업(TACO-1: 클래스 없는 쓰레기, TACO-10: 10개 쓰레기 클래스)에 대해 평가한다.
• 4-fold 교차 검증(80/10/10 분할)과 IoU 임계값에 따른 Average Precision(AP)을 평가 지표로 사용한다.
• AP를 최적화하기 위해 Mask R-CNN의 세 가지 랭킹 점수(class_score, litter_score, ratio_score)를 이용한 실험을 수행한다.
• 데이터 증강(Gaussian blur, AWG 노이즈, 노출/대비 변화, 회전)을 적용하고 Flickr 이미지에 320개 주석된 인스턴스를 이식(transplant)하여 학습 데이터를 보강한다.

실험 결과

연구 질문

• RQ1 Mask R-CNN이 TACO 데이터셋을 사용하여 다양한 실제 환경에서 쓰레기를 효과적으로 탐지하고 분할할 수 있는가?
• RQ2 랭킹 점수의 선택(class_score, litter_score, ratio_score)이 쓰레기 탐지 및 분류의 AP에 어떤 영향을 미치는가?
• RQ3 배경 다양성과 물체 크기가 탐지 성능에 미치는 영향은 무엇이며, 특히 담배와 같은 아주 작은 물체에서?
• RQ4 단일 쓰레기 클래스(TACO-1)에서 다중 클래스(TACO-10)로 분류체계를 확장하는 것이 구별 성능을 향상시키는가, 아니면 혼동을 야기하는가?
• RQ5 크라우드소싱 주석과 이식(transplantation) 기법이 야생의 쓰레기 탐지 학습 데이터를 어떻게 개선할 수 있는가?

주요 결과

데이터셋	클래스 점수	쓰레기 점수	비율 점수
TACO_1	15.9 ± 1.0	26.2 ± 1.0	26.1 ± 1.0
TACO_10	17.6 ± 1.6	18.4 ± 1.5	19.4 ± 1.5

• AP 결과는 점수 전략에 따라 달라지며; ratio_score는 TACO-10의 AP를 향상시키고 TACO-1의 AP를 감소시키지 않는다.
• 작은 물체(예: 담배)들은 재가로 인한 작은 바운딩 박스로 인해 탐지 성능을 크게 감소시킨다.
• 캔과 병은 담배보다 더 안정적으로 탐지되며, Plastic bag과 Other 카테고리 간 혼동이 일부 있다.
• 거리 변환(distance transforms)을 이용한 소프트 마스크로의 이식 분할은 하드 이식에 비해 경계 아티팩트를 줄인다.
• 데이터셋의 성능은 가능성을 보여주지만 더 많은 주석과 더 높은 입력 해상도에서 상당한 개선 여지가 있음을 시사한다.
• 투명한 물체 처리에서 일부 성공이 보이나 배경 다양성(예: 파도)은 일반화에 여전히 도전이 된다.