[논문 리뷰] ZeroWaste Dataset: Towards Deformable Object Segmentation in Cluttered Scenes

Dina Bashkirova, Mohamed S. Abdelfattah외 8명|arXiv (Cornell University)|2021. 06. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 산업 폐기물 감지를 위한 가장 큰 공개 가능한 실외 데이터셋인 ZeroWaste를 소개한다. 이 데이터셋은 실제 재활용 처리 시설에서 촬영한, 매우 변형이 심하고 반투명하며 혼잡한 재활용 물체의 고밀도로 레이블링된 프레임을 포함한다. 이 데이터셋은 완전, 준, 약한 감독 학습 모델의 벤치마킹을 가능하게 하며, 최신 기법들이 클래스 불균형과 정보가 부족한 환경에서 어려움을 겪는 것으로 나타나, 실제 로봇 공학 및 재활용 응용 분야에서 레이블 효율적인 학습의 필요성을 부각시킨다.

ABSTRACT

Less than 35% of recyclable waste is being actually recycled in the US, which leads to increased soil and sea pollution and is one of the major concerns of environmental researchers as well as the common public. At the heart of the problem are the inefficiencies of the waste sorting process (separating paper, plastic, metal, glass, etc.) due to the extremely complex and cluttered nature of the waste stream. Recyclable waste detection poses a unique computer vision challenge as it requires detection of highly deformable and often translucent objects in cluttered scenes without the kind of context information usually present in human-centric datasets. This challenging computer vision task currently lacks suitable datasets or methods in the available literature. In this paper, we take a step towards computer-aided waste detection and present the first in-the-wild industrial-grade waste detection and segmentation dataset, ZeroWaste. We believe that ZeroWaste will catalyze research in object detection and semantic segmentation in extreme clutter as well as applications in the recycling domain. Our project page can be found at http://ai.bu.edu/zerowaste/.

연구 동기 및 목표

• 실제 산업 폐기물 흐름에서 매우 변형이 심하고 반투명하며 혼잡한 재활용 물체를 감지하고 분할하기 위한 고품질 실세계 데이터셋의 부족을 해결하기 위해.
• 극도의 혼잡함과 클래스 불균형 상황에서 완전, 준, 약한 감독 학습을 위한 객체 검출 및 의미 분할 연구를 가능하게 하기 위해.
• 실세계 재활용 자동화 및 더 안전한 MRF 운영에 적용 가능한 데이터 효율적이고 강건한 컴퓨터 비전 모델의 개발을 지원하기 위해.
• 제한된 레이블 데이터를 가진 산업 현장에서 레이블 효율적인 학습 기법을 평가하기 위한 벤치마크를 제공하기 위해.

제안 방법

• ZeroWaste 데이터셋은 실제 재활용 처리 시설의 컨veyor 벨트에서 촬영한 것으로, 완전 레이블링된 프레임(ZeroWaste-f)과 레이블이 없는 프레임(ZeroWaste-s)을 포함하여 준감독 학습에 활용된다.
• 데이터셋에는 소프트 플라스틱, 라이드 플라스틱, 간판지, 금속의 네 가지 전경 클래스와 종이 및 컨베이어 벨트를 배경으로 한다.
• 클래스 불균형을 완화하기 위해 TACO 데이터셋의 물체를 ZeroWaste에 통합하는 데이터 증강 전략을 적용하여 ZeroWaste-Aug 버전을 생성한다.
• 기준 모델로는 완전 감독 학습을 위한 DeepLabV3+, 레이블이 없는 데이터를 활용하는 준감독 학습을 위한 ReCo와 CCT, 그리고 약한 감독 분할을 위한 CAM 기반 방법(예: Puzzle-CAM 및 EPS)이 포함된다.
• 약한 감독 학습을 위한 의사 레이블은 0.45의 임계값을 적용한 클래스 활성화 맵(CAMs)을 통해 생성되며, 타일 기반 매칭을 통해 객체 커버리지가 향상된다.
• 평가에서는 완전, 준, 약한 감독 학습 설정 전반에서 수행되며, 성능은 픽셀 정확도와 혼동 행렬을 통해 측정된다.

실험 결과

연구 질문

• RQ1 최신 기술 기반 완전 감독 분할 모델이 실제 산업 폐기물 흐름에서 나타나는 극도의 혼잡함과 변형성에 일반화될 수 있는가?
• RQ2 ZeroWaste-s 서브셋의 레이블이 없는 데이터가 준감독 학습에서 성능 향상에 얼마나 기여하는가? 그리고 이러한 맥락에서 효과적인 인도적 편향(inductive biases)은 무엇인가?
• RQ3 이미지 수준의 레이블(예: 전/후 레이블)만을 사용하는 약한 감독 방법이 훈련용 의미 있는 의사 분할 마스크를 생성할 수 있는가?
• RQ4 예를 들어 ZeroWaste-Aug와 같은 인스턴스 수준의 데이터 증강 전략이 클래스 불균형 데이터셋에서 희귀 클래스인 금속의 성능 격차를 줄이는 데 얼마나 효과적인가?

주요 결과

• 완전 감독 학습을 위한 DeepLabV3+는 간판지와 종이를 구분하는 데서 58%의 정확도에 머물러 있어 미세한 분할 작업에서 심각한 과제를 드러낸다.
• 라이드 플라스틱 물체는 자주 소프트 플라스틱으로 잘못 분류되며, 이는 무늬와 형태 일반화에 어려움이 있음을 시사한다.
• 금속 물체는 원래 데이터셋에서 빈도가 낮아 배경으로 잘못 분류되는 경우가 많아, 클래스 불균형의 영향을 강력히 보여준다.
• ZeroWaste-Aug를 통한 데이터 증강은 원래 테스트 스플릿에서 희귀 클래스인 금속의 픽셀 정확도를 향상시키지만, 라이드 플라스틱에서는 성능이 악화되어 증강 전략의 상충 관계를 보여준다.
• ReCo를 사용한 준감독 학습은 레이블이 없는 데이터를 활용할 때 성능이 떨어져, ReCo의 맥락 기반 인도적 편향이 낮은 맥락, 혼잡한 환경에서는 효과적이지 않음을 시사한다.
• CCT는 레이블이 없는 데이터를 활용할 때 약간의 성능 향상을 보이며, 이는 대조 학습이 맥락 인식 모델보다 이 도메인의 시각적 복잡성에 더 적합함을 시사한다.