[논문 리뷰] Deep Learning for Classifying Food Waste

Amin Mazloumian, Matthias Rosenthal외 1명|arXiv (Cornell University)|2020. 02. 06.

Food Waste Reduction and Sustainability참고 문헌 8인용 수 5

한 줄 요약

이 논문은 스마트 쓰레기통에서 폐기 이전 및 이후에 촬영한 이미지에서 식량 폐기물을 분류하기 위해 고유한 '델타 레이어'를 갖춘 이중 스트림 컨볼루션 신경망을 사용하는 딥러닝 접근법을 제안한다. 각 폐기 이벤트 이후의 특징 변화에 중점을 두어, 50만 장의 이미지에서 20개의 식량 폐기물 카테고리 분류에 대해 83.5%의 분류 정확도를 달성했으며, 객체 위치 지정 또는 세그멘테이션 애너테이션 없이도 성능을 내었다.

ABSTRACT

One third of food produced in the world for human consumption -- approximately 1.3 billion tons -- is lost or wasted every year. By classifying food waste of individual consumers and raising awareness of the measures, avoidable food waste can be significantly reduced. In this research, we use deep learning to classify food waste in half a million images captured by cameras installed on top of food waste bins. We specifically designed a deep neural network that classifies food waste for every time food waste is thrown in the waste bins. Our method presents how deep learning networks can be tailored to best learn from available training data.

연구 동기 및 목표

• 소비자 개인 단위의 식량 폐기물 데이터 부족 문제를 해결하기 위해 소비 단계에서의 자동 식량 폐기물 분류를 가능하게 하기 위해.
• 쓰레기통 위 카메라로 촬영한 이미지에서 식량 폐기물을 분류할 수 있는 딥러닝 모델을 개발하기 위해.
• 최근에 버려진 식량 항목의 클래스만 애너테이션으로 제공되는 제한된 애너테이션 환경에서 효과적으로 학습할 수 있도록 신경망 아키텍처를 설계하기 위해.
• 식량의 다양성, 액체, 겹치는 질감 등으로 인한 시각적 분류 과제를 극복하기 위해 이미지 특징의 시간적 차이를 활용하기 위해.

제안 방법

• 이중 스트림 VGG16 기반의 컨볼루션 신경망이 각 폐기 이벤트 이전 및 이후에 촬영된 이미지에서 특징을 추출한다.
• 델타 레이어는 각 추상화 수준에서 '이후' 이미지의 특징 볼륨과 스케일된 '이전' 이미지의 특징 볼륨 간의 ReLU 활성화된 차이를 계산하여, 최근 폐기로 인해 추가된 새로운 특징을 강조한다.
• 스케일된 '이전' 특징 볼륨은 학습 가능한 스케일링 상수 λᶜ를 통해 학습되며, 관련 변화에 대한 적응적 강조를 가능하게 한다.
• 델타 레이어에서 생성된 특징 맵은 해당 추상화 수준에서 공유된 제3의 컨볼루션 경로에 더해져 시간적 변화를 통합한다.
• 최종 특징 볼륨은 평탄화되어 세 개의 완전 연결 계층을 거쳐 20개 클래스 분류 출력을 생성한다.
• 사전 처리 단계에서 U-Net을 사용하여 소규모 애너테이션 데이터셋에서 95.8%의 픽셀 단위 정확도로 배경 제거를 수행하였다.

실험 결과

연구 질문

• RQ1 폐기 이전 및 이후의 이미지 쌍만을 사용하여, 마지막으로 쓰레기통에 버려진 식량 폐기물 항목을 정확하게 분류할 수 있는가?
• RQ2 최근 항목의 클래스만 레이블이 지정된 제한된 학습 데이터에서 신경망이 효과적으로 학습할 수 있는가?
• RQ3 델타 레이어가 각 폐기 이벤트 이후에 도입된 특징에 집중함으로써 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ4 객체 검출 또는 세그멘테이션 애너테이션 없이도 높은 정확도로 식량 폐기물을 분류할 수 있는가?

주요 결과

• 제안된 모델은 단지 이미지 쌍과 단일 레이블 애너테이션만을 사용하여 20개의 서로 다른 식량 폐기물 카테고리 분류에 대해 83.5%의 분류 정확도를 달성하였다.
• U-Net 사전 처리 단계는 이미지 내 식량 폐기물 영역을 식별하는 데 95.8%의 픽셀 단위 정확도를 달성하여 효과적인 배경 제거를 가능하게 하였다.
• 델타 레이어 메커니즘은 각 폐기 이벤트 이후에 도입된 새로운 시각적 특징을 성공적으로 강조하여 모델의 최근 추가 사항에 대한 민감도를 향상시켰다.
• 모델은 시간적 특징 차이를 활용하여 겹치는 식량 항목, 액체 폐기물, 질감 변화와 같은 시각적 과제를 효과적으로 처리하였다.
• 아키텍처는 연속적인 이미지 간의 변화 탐지에 초점을 맞춤으로써, 희소한 애너테이션 환경에서도 딥러닝 모델이 효과적으로 학습할 수 있음을 보여주었다.