[論文レビュー] Facilitated machine learning for image-based fruit quality assessment

Manuel Knott, Fernando Pérez‐Cruz+1 more|arXiv (Cornell University)|Jul 10, 2022

Smart Agriculture and AI被引用数 6

ひとこと要約

本論文は、事前学習済みのビジョントランスフォーマー（ViTs）、特にDINO ViTをオフザシェルの特徴抽出器として使用することで、GPU不要の簡素化された機械学習手法を提案する。この手法は、微調整されたCNNと比較して1%以内の分類精度を達成し、学習データ量の約3分の1で実現可能であり、分散型の低リソースな出荷後サプライチェーンへの展開を可能にする。

ABSTRACT

Image-based machine learning models can be used to make the sorting and grading of agricultural products more efficient. In many regions, implementing such systems can be difficult due to the lack of centralization and automation of postharvest supply chains. Stakeholders are often too small to specialize in machine learning, and large training data sets are unavailable. We propose a machine learning procedure for images based on pre-trained Vision Transformers. It is easier to implement than the current standard approach of training Convolutional Neural Networks (CNNs) as we do not (re-)train deep neural networks. We evaluate our approach based on two data sets for apple defect detection and banana ripeness estimation. Our model achieves a competitive classification accuracy equal to or less than one percent below the best-performing CNN. At the same time, it requires three times fewer training samples to achieve a 90% accuracy.

研究の動機と目的

• 限られたデータと計算能力がある分散型の低リソースな出荷後サプライチェーンへの機械学習の導入課題に対処すること。
• 畳み込みニューラルネットワーク（CNNs）を新規に訓練するか、微調整する場合に高いデータおよびハードウェア要件を満たす課題を克服すること。
• 事前学習済みビジョントランスフォーマーが、再訓練なしに効果的な即時利用可能な特徴抽出器として果物品質タスクに適していることを実証すること。
• 冷蔵チェーンの運用者や農業協同組合などの小規模ステークホルダーが、スマートフォンの画像を用いてAIベースの品質評価を導入できるようにすること。
• 計算リソースの削減と農業分野におけるAIアプリケーションの包摂性向上を図ることで、グリーンAIに貢献すること。

提案手法

• ドメインデータに対して微調整を行わず、固定された特徴抽出器として自己教師付きで事前学習済みのビジョントランスフォーマー（DINO ViT-S/8およびDINO ViT-B/8）を活用する。
• ViTエンコーダーの最終層から画像埋め込みを抽出し、次元削減のために主成分分析（PCA）を適用する。
• 分類タスクのためにPCAで次元削減されたViT特徴量上で、シンプルで軽量な分類器（例：SVMやロジスティック回帰）を訓練する。
• 実世界の2つのデータセット（りんごの欠険検出：CASC IFW、バナナの熟度推定）で性能を評価する。
• 同じ評価プロトコルを用いて、同じデータで微調整された最先端のCNN（ResNet50、VGG-11）と結果を比較する。
• PCAを用いて特徴量の分布を可視化し、クラス分離性およびノイズや背景の変動に対する耐性を分析する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みビジョントランスフォーマーは、データが少ない状況下でも、微調整なしに効果的な特徴抽出器として果物品質評価に適しているか？
• RQ2 同じデータで微調整されたCNNと比較して、オフザシェルのViT特徴量の分類精度は、小規模で実世界の果物画像データセットにおいてどの程度優れているか？
• RQ3 CNNと比較して、ViTベースのモデルは、はるかに少ない学習サンプルでどの程度高い精度を達成できるか？
• RQ4 実世界の農業画像において、ノイズ、照明の変動、背景のごみに対して、ViT埋め込みはどの程度耐性があるか？
• RQ5 DINOで学習されたViT特徴量の潜在空間は、CNN特徴量と比較して、品質クラスの線形分離性が向上しているか？

主な発見

• DINO ViTベースの手法は、りんごの欠陊検出およびバナナの熟度推定の両データセットで、最良の微調整済みCNNと比較して1%以内の分類精度を達成した。
• ViTベースのモデルは、CNNが要する学習サンプルの約3分の1で90%の精度に達した。これは、データ効率性に優れていることを示している。
• DINO ViT埋め込みのPCA可視化により、健全なりんごと損傷ありりんごのクラス間に明確な分布シフトが確認され、照明や背景ノイズに対して耐性があることが示された。
• DINO ViT特徴量の最初の主成分は、ResNet50 や VGG-11 のそれよりも優れたクラス分離性を示しており、埋め込み空間内で関連する視覚的特徴がより良い線形化がなされていることを示唆している。
• 本手法により、GPUなしの標準CPU上でも高精度な果物品質評価が可能となり、小規模な運用者による導入障壁が著しく低下した。
• 結果から、DINO ViT埋め込みは表現力が高く、ハイブリッドモデリングパイプラインにおいて、センサーやサプライチェーンメタデータなどの表形式データと統合するのに適していることが示された。