[論文レビュー] deepNIR: Datasets for Generating Synthetic NIR Images and Improved Fruit Detection System Using Deep Learning Techniques

Inkyu Sa, Jong Yoon Lim+2 more|arXiv (Cornell University)|Jun 22, 2022

Smart Agriculture and AI参考文献 52被引用数 28

ひとこと要約

本稿では、商業農場および再処理済みの公開データセット（nirscene、SEN12MS）から得た161,500対のRGB-NIR画像を含む、公開可能なdeepNIRというデータセットを紹介する。このデータセットにより、条件付きGANを用いた高精細な合成近赤外（NIR）画像生成が可能となる。本手法はnirsceneサブセットでFrechet Inception Distance（FID）11.36を達成し、YOLOv5を用いた果物検出性能を向上させ、11種類の果物クラスにおいてmAP[0.5:0.95]スコア最大0.812を報告した。

ABSTRACT

This paper presents datasets utilised for synthetic near-infrared (NIR) image generation and bounding-box level fruit detection systems. A high-quality dataset is one of the essential building blocks that can lead to success in model generalisation and the deployment of data-driven deep neural networks. In particular, synthetic data generation tasks often require more training samples than other supervised approaches. Therefore, in this paper, we share the NIR+RGB datasets that are re-processed from two public datasets (i.e., nirscene and SEN12MS), expanded our previous study, deepFruits, and our novel NIR+RGB sweet pepper (capsicum) dataset. We oversampled from the original nirscene dataset at 10, 100, 200, and 400 ratios that yielded a total of 127 k pairs of images. From the SEN12MS satellite multispectral dataset, we selected Summer (45 k) and All seasons (180k) subsets and applied a simple yet important conversion: digital number (DN) to pixel value conversion followed by image standardisation. Our sweet pepper dataset consists of 1615 pairs of NIR+RGB images that were collected from commercial farms. We quantitatively and qualitatively demonstrate that these NIR+RGB datasets are sufficient to be used for synthetic NIR image generation. We achieved Frechet inception distances (FIDs) of 11.36, 26.53, and 40.15 for nirscene1, SEN12MS, and sweet pepper datasets, respectively. In addition, we release manual annotations of 11 fruit bounding boxes that can be exported in various formats using cloud service. Four newly added fruits (blueberry, cherry, kiwi and wheat) compound 11 novel bounding box datasets on top of our previous work presented in the deepFruits project (apple, avocado, capsicum, mango, orange, rockmelon and strawberry). The total number of bounding box instances of the dataset is 162 k and it is ready to use from a cloud service. For the evaluation of the dataset, Yolov5 single stage detector is exploited and reported impressive mean-average-precision, mAP[0.5:0.95] results of min:0.49, max:0.812. We hope these datasets are useful and serve as a baseline for future studies.

研究の動機と目的

• 農業分野における合成NIR画像生成モデルの学習に適した、高品質で公開可能なRGB-NIRペアデータセットの不足を解消すること。
• 深層学習パイプラインにおいて、合成NIR画像を補助入力として活用することで、果物検出性能を向上させること。
• deepFruitsデータセットにブルーベリー、チェリー、キウイ、小麦の4つの新しい果物クラスを追加し、正確なバウンディングボックスアノテーションを付与すること。
• 合成画像生成および物体検出の分野における再現可能でオープンなベンチマークを提供すること。
• COCO や ImageNet などの汎用データセットではなく、農業分野に特化したカスタムデータセットを用いたドメイン固有の事前学習を可能にすること。

提案手法

• nirscene および SEN12MS の2つの公開データセットを、オーバーサンプリング（10倍〜400倍）および画像標準化（μ=0, σ=1）を用いて再処理・拡張し、学習データのスケールを拡大した。
• 一貫した照明条件および放射計測キャリブレーション下で商業農場から収集した、高品質なトウガラシ（パプリカ）のRGB-NIR画像ペア1,615組の新規データセットを構築した。
• ピクセル単位の損失関数および知覚的損失関数を用いて、RGBから合成NIR画像へのマッピングを学習するための条件付き生成対抗ネットワーク（cGAN）を訓練した。
• 生成された合成NIR画像の現実性を定量的に評価するために、Frechet Inception Distance（FID）指標を適用した。
• YOLOv5を用いて、RGBおよび合成NIR入力を併用した単段階物体検出器を微調整し、mAP[0.5:0.95]およびmAP[0.5]を用いて性能を評価した。
• 複数のフォーマット（例：COCO、YOLO）でクラウドホスティングされたエクスポート可能なバウンディングボックスアノテーションを提供し、下流タスクへの即時利用を可能にした。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いてRGB入力から生成された合成NIR画像は、農業用途に適した高い知覚的・統計的忠実度を達成できるか？
• RQ2 合成NIR画像を実世界の農業環境における果物検出モデルの性能向上に組み込むと、どの程度効果を発揮するか？
• RQ3 学習データセットの規模と品質は、合成画像生成モデルの一般化性能および性能にどのように影響するか？
• RQ4 COCO や ImageNet などの汎用データセットではなく、農業分野に特化したカスタムデータセットを用いたドメイン固有の事前学習は、どのような影響を及ぼすか？
• RQ5 異なる果物種別において、合成NIR増強処理がmAPスコアに与える影響（向上または低下）はどのように変化するか？

主な発見

• deepNIRデータセットは、nirscene1サブセットでFID 11.36、SEN12MSで26.53、トウガラシデータセットで40.15を記録し、合成NIR画像生成の高精度な現実性を示した。
• 拡張されたdeepFruitsデータセットにおいて、YOLOv5検出器は最大mAP[0.5:0.95] 0.812を達成し、11種類の果物クラスにおいて優れた検出性能を示した。
• リンゴ検出において、合成NIR入力によりmAP[0.5:0.95]が0.005向上し、一部の状況で肯定的な影響を示した。
• チェリーおよびキウイの検出性能は、それぞれmAP[0.5:0.95]が0.03および0.09低下し、ドメインシフトまたは分布不一致の問題を示唆した。
• パプリカの検出では、mAP[0.5:0.95]が0.01低下したが、mAP[0.5]は0.01上昇したため、合成NIR画像が部分的遮蔽や影の強い果物の検出を支援する可能性がある。
• 本研究では、テストと学習の分布が類似している場合に限り、合成NIR画像生成が有効であることが示された。これは、多様な現実世界の条件下での一般化の難しさを浮き彫りにした。