[論文レビュー] Apple Leaf Disease Identification through Region-of-Interest-Aware Deep Convolutional Neural Network

Hee-Jin Yu, Chang‐Hwan Son|arXiv (Cornell University)|Mar 25, 2019

Smart Agriculture and AI参考文献 24被引用数 10

ひとこと要約

本稿では、畳み込みニューラルネットワークに領域の注目（ROI）を組み込んだ手法を提案し、リンゴの葉の病気を特定する。エンコーダ・デコーダサブネットワークを用いて病変領域をセグメンテーションし、VGGに基づくサブネットワークで分類を行う。予測されたROI特徴マップと入力画像をエンドツーエンド学習スキームで統合することで、トランスファーラーニング、双線形モデル、マルチスケール特徴抽出といった最先端手法を上回る高い精度を達成する。

ABSTRACT

A new method of recognizing apple leaf diseases through region-of-interest-aware deep convolutional neural network is proposed in this paper. The primary idea is that leaf disease symptoms appear in the leaf area whereas the background region contains no useful information regarding leaf diseases. To realize this idea, two subnetworks are first designed. One is for the division of the input image into three areas: background, leaf area, and spot area indicating the leaf diseases, which is the region of interest, and the other is for the classification of leaf diseases. The two subnetworks exhibit the architecture types of an encoder-decoder network and VGG network, respectively; subsequently, they are trained separately through transfer learning with a new training set containing class information, according to the types of leaf diseases and the ground truth images where the background, leaf area, and spot area are separated. Next, to connect these subnetworks and subsequently train the connected whole network in an end-to-end manner, the predicted ROI feature map is stacked on the top of the input image through a fusion layer, and subsequently fed into the subnetwork used for the leaf disease identification. The experimental results indicate that correct recognition accuracy can be increased using the predicted ROI feature map. It is also shown that the proposed method obtains better performance than the conventional state-of-the-art methods: transfer-learning-based methods, bilinear model, and multiscale-based deep feature extraction, and pooling approach.

研究の動機と目的

• 全葉画像を処理するのではなく、病変に影響を受ける領域に計算的注意を集中させることで、リンゴの葉の病気特定の精度を向上させること。
• 従来のモデルが不要な背景領域まで処理する非効率性を解消するため、専用のROIに注目したセグメンテーションサブネットワークを導入すること。
• 病変領域の局在化と病型分類を統合するエンドツーエンド学習により、分類性能を向上させること。
• トランスファーラーニング、双線形モデル、マルチスケール特徴抽出技術を含む、既存の最先端手法を上回ること。
• 実世界のリンゴの葉の病気データセットにおいて、ROIに注目した特徴統合の有効性を検証すること。

提案手法

• 本手法は、入力画像を背景、葉領域、およびスポット領域（注目領域、すなわちROI）の3つの領域にセグメンテーションするためのエンコーダ・デコーダアーキテクチャを採用する。
• 病変の分類には別個のVGGベースのネットワークを用い、背景、葉、スポット領域の正例ラベルを含む独自のデータセット上で、トランスファーラーニングを用いて事前学習した。
• セグメンテーションサブネットワークから得られる予測されたROI特徴マップを、融合層を介して元の入力画像と統合し、その出力を分類サブネットワークに供給する。
• セグメンテーションと分類の両タスクを同時に最適化できるように、全体のネットワークをエンドツーエンドで微調整する。
• 背景、葉、病変領域をピクセル単位でアノテートした新しい収集データセットを用いて、トランスファーラーニングを実施する。
• 融合メカニズムにより、分類ネットワークが病変関連の特徴に集中した強化された文脈的情報を受信する。

実験結果

リサーチクエスチョン

• RQ1 全画像処理と比較して、病変に影響を受ける領域（ROI）に注目することで、リンゴの葉の病気分類の精度が向上するか？
• RQ2 予測されたROI特徴マップと入力画像を統合することで、標準的な特徴抽出手法よりも性能が向上するか？
• RQ3 トランスファーラーニング、双線形モデル、マルチスケール特徴プーリングといった最先端手法と比較して、本手法のROIに注目したネットワークはどのように性能を発揮するか？
• RQ4 二重パスネットワーク（セグメンテーション＋分類）のエンドツーエンド学習は、病変認識にどの程度向上効果をもたらすか？
• RQ5 専用のROIセグメンテーションサブネットワークは、分類性能に影響を及ける不要な背景領域の影響を軽減できるか？

主な発見

• 提案手法は、従来のトランスファーラーニングベースの手法、双線形モデル、マルチスケール特徴抽出手法を上回る認識精度を達成した。
• 融合層を通じた予測されたROI特徴マップの統合は、病変関連特徴に注目することで分類性能を顕著に向上させた。
• ROIに注目したネットワークのエンドツーエンド学習は、より良い一般化性能とより強固な病変検出を実現した。
• エンコーダ・デコーダサブネットワークは、病変スポットの正確な局在化に効果を発揮し、分類ネットワークが病変に関連する領域に集中できるようにした。
• 背景、葉、スポット領域のピクセル単位のアノテーションを含む独自データセットにおいて、本手法は優れた性能を示した。
• 結果から、病変に影響を受ける領域に注目することで、不要な画像領域からのノイズが低減され、モデルの解釈性と精度が向上することが確認された。