[論文レビュー] Deep Learning for Classifying Food Waste

Amin Mazloumian, Matthias Rosenthal+1 more|arXiv (Cornell University)|Feb 6, 2020

Food Waste Reduction and Sustainability参考文献 8被引用数 5

ひとこと要約

本稿では、スマートゴミ箱の前後における廃棄イベントの画像を用いて、独自の「デルタレイヤー」を備えたデュアルストリーム畳み込みニューラルネットワークを用いた深層学習アプローチを提案する。各廃棄イベント後の特徴の変化に注目することで、半百万枚の画像から20種類の食品廃棄物を分類する際、オブジェクト位置特定やセマンティックセグメンテーションのアノテーションが存在しない状況でも83.5％のカテゴリーごとの正確度を達成した。

ABSTRACT

One third of food produced in the world for human consumption -- approximately 1.3 billion tons -- is lost or wasted every year. By classifying food waste of individual consumers and raising awareness of the measures, avoidable food waste can be significantly reduced. In this research, we use deep learning to classify food waste in half a million images captured by cameras installed on top of food waste bins. We specifically designed a deep neural network that classifies food waste for every time food waste is thrown in the waste bins. Our method presents how deep learning networks can be tailored to best learn from available training data.

研究の動機と目的

• 消費段階における個々の消費者の食品廃棄データの不足に対処するため、消費段階での食品廃棄物の自動分類を可能にする。
• 複数の食品アイテムが存在する状況下でも、ゴミ箱の上部に設置されたカメラが撮影した画像から食品廃棄物を分類する深層学習モデルを開発する。
• 最後に捨てられた食品アイテムのクラスのみがアノテーションとして与えられるという限られたアノテーション環境において、効果的に学習できるニューラルネットワークアーキテクチャを設計する。
• 食品の多様性、液体、重なったテクスチャなどの要因による視覚的分類の難易度を、画像特徴の時間的差分を活用することで克服する。

提案手法

• デュアルストリームのVGG16ベースの畳み込みニューラルネットワークが、各廃棄イベントの前後で撮影された画像から特徴を抽出する。
• デルタレイヤーが、各抽象化レベルで『廃棄後』の特徴量とスケーリングされた『廃棄前』の特徴量とのReLU活性化済み差分を計算し、最新の廃棄によって追加された特徴を強調する。
• スケーリングされた『廃棄前』特徴量は、トレーニング可能なスケーリング定数 λᶜ を介して学習され、関連する変化に適応的に重みを置くことができる。
• デルタレイヤーからの特徴マップは、対応する抽象化レベルで共有の3番目の畳み込みパスに加算され、時間的変化を統合する。
• 最終的な特徴量はフラット化され、3つの全結合層を通過して20クラス分類出力を得る。
• 前処理段階でU-Netを用い、小さなアノテート済みサブセットで95.8％のピixe単位の正確度を達成して背景除去を実行する。

実験結果

リサーチクエスチョン

• RQ1 廃棄前後画像ペアのみを用いて、ゴミ箱に捨てられた最後の食品廃棄物を正確に分類できる深層学習モデルは構築可能か？
• RQ2 最後に捨てられたアイテムのクラスのみがラベルとして与えられる限られたトレーニングデータ環境下で、ニューラルネットワークが効果的に学習できるか？
• RQ3 各廃棄イベント後に導入された特徴に注目することで、デルタレイヤーが分類性能をどの程度向上できるか？
• RQ4 オブジェクト検出やセマンティックセグメンテーションのアノテーションが不要な状況でも、食品廃棄物の分類で高い正確度を達成できるか？

主な発見

• 提案されたモデルは、画像ペアと単一ラベルアノテーションのみを用いて、20種類の異なる食品廃棄物カテゴリを分類する際、83.5％のカテゴリーごとの正確度を達成した。
• U-Netを用いた前処理ステップは、画像内の食品廃棄物領域を特定する際、ピクセル単位で95.8％の正確度を達成し、効果的な背景除去を可能にした。
• デルタレイヤー機構は、各廃棄イベント後に追加された新しい視覚的特徴を効果的に強調し、最近の追加物へのモデルの感受性を向上させた。
• 時間的差分に基づく特徴の活用により、重なった食品アイテム、液体廃棄物、テクスチャの変動といった視覚的課題に対しても、モデルは効果的に対処できた。
• アーキテクチャは、連続する画像間の変化検出に注目することで、スパarsなアノテーション環境下でも深層学習が有効に適用可能であることを示した。