[論文レビュー] Deep Learning for Automatic Quality Grading of Mangoes: Methods and Insights

Shih-Lun Wu, Hsiao-Yen Tung+1 more|arXiv (Cornell University)|Nov 23, 2020

Smart Agriculture and AI参考文献 35被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いた深層学習的手法を提案し、マングースの自動品質評価を行う。VGG16、ResNet、およびカスタム畳み込みオートエノード・クラスファイアーを含むモデルを用い、ImageNetで事前学習された重みを用いた転移学習と、Mask R-CNNを用いた背景除去を実施。最も優れた性能を示したモデルは、VGG16と前処理済み画像を組み合わせたもので、高い正確性を達成した。類似性マップと主成分分析（PCA）により、モデルが黒ずみなどの目に見える欠険に注目していることが明らかになり、意思決定の説明可能性が得られた。

ABSTRACT

The quality grading of mangoes is a crucial task for mango growers as it vastly affects their profit. However, until today, this process still relies on laborious efforts of humans, who are prone to fatigue and errors. To remedy this, the paper approaches the grading task with various convolutional neural networks (CNN), a tried-and-tested deep learning technology in computer vision. The models involved include Mask R-CNN (for background removal), the numerous past winners of the ImageNet challenge, namely AlexNet, VGGs, and ResNets; and, a family of self-defined convolutional autoencoder-classifiers (ConvAE-Clfs) inspired by the claimed benefit of multi-task learning in classification tasks. Transfer learning is also adopted in this work via utilizing the ImageNet pretrained weights. Besides elaborating on the preprocessing techniques, training details, and the resulting performance, we go one step further to provide explainable insights into the model's working with the help of saliency maps and principal component analysis (PCA). These insights provide a succinct, meaningful glimpse into the intricate deep learning black box, fostering trust, and can also be presented to humans in real-world use cases for reviewing the grading results.

研究の動機と目的

• マングースの品質評価は人的労力が多く、誤差の原因となるため、生産者の利益に顕著な影響を与える。
• 深層学習を用いて、マングースをA、B、Cの品質グレードに分類する、自動的かつ高精度で説明可能なシステムの開発。
• 画像の前処理（背景除去、ImageNetで事前学習された重みを用いた転移学習など）により、モデル性能の向上。
• 類似性マップと主成分分析（PCA）を用いて、モデルの意思決定プロセスの解釈可能性を提供。

提案手法

• 6,400枚のマングース画像からノイズの多い背景を除去するために、手動でアノテートされたマングースの境界に合わせて微調整されたMask R-CNNを採用。
• 限られたデータで性能を向上させるために、ImageNetで事前学習された重みを用いた転移学習を実施。モデル（AlexNet、VGGs、ResNets）を初期化。
• 特徴の正則化と転送可能性を高めるために、マルチタスク学習を活用した畳み込みオートエノード・クラスファイアー（ConvAE-Clfs）のファミリーを設計。
• 予測時にモデルがどの画像領域に注目しているかを可視化するために、類似性マップを適用。これにより、モデルの解釈可能性が向上。
• 潜在的特徴表現に対して主成分分析（PCA）を実施し、品質グレードがモデルの内部表現にどのようにエンコードされているかを解明。
• AICUP2020 Irwinマングースデータセットを用いて、複数のCNNアーキテクチャを訓練・評価し、モデル間での性能と解釈可能性を比較。

Figure 1: Some sample images from AICUP2020, the dataset used in our work. Please note that the images possess high variance in background, lighting conditions, and the distance of target mangoes.

実験結果

リサーチクエスチョン

• RQ1 限定的で現実世界のデータセットに微調整された事前学習済みCNN（例：VGG16、ResNet）は、マングースの品質グレード分類においてどれほど有効であるか？
• RQ2 Mask R-CNNを用いた背景除去は、マングースの品質評価における深層学習モデルの性能をどの程度向上させるか？
• RQ3 畳み込みオートエノードと分類器を統合することで、データが少ない状況下でもモデルの一般化性能と特徴学習が向上するか？
• RQ4 深層学習モデルは、マングースの品質グレードA、B、Cを区別するために、どのような視覚的および特徴レベルのパターンを学習するか？
• RQ5 類似性マップとPCAは、実世界での導入に向けたモデルの意思決定プロセスに対して、意味のある解釈可能なインサイトをどのように提供できるか？

主な発見

• VGG16は、テストした全モデルの中で最高の分類正確性を示し、AlexNet、ResNets、およびカスタムConvAE-Clfsを上回った。
• Mask R-CNNを用いた背景除去により、ノイズの低減とマングースおよびその欠陥に注目できるようになることで、モデル性能が顕著に向上した。
• 類似性マップにより、モデルが黒ずみなどの目に見える欠陥に注目していることが確認され、品質評価に適切な視覚的手がかりを学習していることが裏付けられた。
• PCA分析により、最初の主成分が欠陥の重症度と強く相関していることが判明した。特に、グレードCが最も高く、次にB、Aの順に高い値を示した。これは、欠陥の負荷がモデル予測の主な要因であることを示している。
• グレードAのマングースは潜在的特徴空間で密にクラスタリングされたのに対し、グレードCのサンプルは散らばっていた。これは、高品質なマングースは視覚的に一貫性があるが、低品質なものは多様な欠陥パターンを示すためである。
• データセットにラベルの不一致が観察された。一部のマングースでは皮の色が不均一で、わずかな欠陥がグレード間で一貫性なくラベル付けされており、これが一部のサンプルでの誤分類を引き起こしている可能性がある。

Figure 2: Background removal process. Image (a) shows how we annotate our dataset; the boundary of the mango fruit is marked with a blue polygon. As for segmentation results, Image (b) uses splash method, with which a rugged boundary of the mango is obtained. Image (c) uses the bounding box method,