[論文レビュー] Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis

Ruifeng Shi, Deming Zhai+3 more|arXiv (Cornell University)|Mar 17, 2020

Smart Agriculture and AI参考文献 36被引用数 5

ひとこと要約

本論文は、追加の監視なしにラベルノイズに対して強い耐性を示す、プラグアンドプレイな修正付きメタラーニングフレームワークを提案する。CNNベースの植物病害診断を向上させるために、メタラーニング中に偏りの少ないサンプルを優先する修正モジュールを統合することで、収束速度が向上し、PlantVillageのようなノイズのあるデータセットにおいて最先端の精度を達成する。

ABSTRACT

Plant diseases serve as one of main threats to food security and crop production. It is thus valuable to exploit recent advances of artificial intelligence to assist plant disease diagnosis. One popular approach is to transform this problem as a leaf image classification task, which can be then addressed by the powerful convolutional neural networks (CNNs). However, the performance of CNN-based classification approach depends on a large amount of high-quality manually labeled training data, which are inevitably introduced noise on labels in practice, leading to model overfitting and performance degradation. To overcome this problem, we propose a novel framework that incorporates rectified meta-learning module into common CNN paradigm to train a noise-robust deep network without using extra supervision information. The proposed method enjoys the following merits: i) A rectified meta-learning is designed to pay more attention to unbiased samples, leading to accelerated convergence and improved classification accuracy. ii) Our method is free on assumption of label noise distribution, which works well on various kinds of noise. iii) Our method serves as a plug-and-play module, which can be embedded into any deep models optimized by gradient descent based method. Extensive experiments are conducted to demonstrate the superior performance of our algorithm over the state-of-the-arts.

研究の動機と目的

• 大規模な植物病害画像データセットにおけるラベルノイズの課題に対処し、過学習によりCNNの性能が低下することを防ぐ。
• 手動で修正されたラベルやノイズ分布に関する仮定に依存しない、ノイズに強いトレーニングフレームワークを開発する。
• メタラーニング中に偏りが少ない、より信頼性の高いサンプルに注目することで、収束速度と分類精度を向上させる。
• 勾配降下法で最適化される任意のディープラーニングモデルと互換性のある、プラグアンドプレイなモジュールを設計する。

提案手法

• 2段階のトレーニングフレームワークを導入：(1) 本来のノイズのあるラベルを用いた主な学習、(2) 予測を精錬する修正付きメタラーニング。
• 元のデータから擬似ラベルを生成し、複数の合成ミニバッチを作成することで、ノイズのある学習シナリオをシミュレートする。
• メタラーニングで1ステップの勾配更新を適用し、主モデルの予測とメタラーニングフェーズの予測を一致させる。
• バイアスが高い（つまり、ノイズがある可能性が高い）サンプルに高いペナルティを課す修正モジュールを統合し、誤ラベルデータへの過学習を低減する。
• ハイパーパrameter α で制御される重み付き損失を用いて、元のラベルとの交差エントロピー損失とメタラーニング損失を組み合わせる。
• 反復的にモデルをトレーニングし、サイクルごとに擬似ラベルを精錬することで、段階的にラベル精度とモデルの耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 追加の監視なしに、メタラーニングに基づくアプローチが植物病害診断におけるラベルノイズに対してモデルの耐性を向上させられるか？
• RQ2 偏りの少ないサンプルを優先する修正モジュールは、収束速度と最終的な分類精度にどのように影響するか？
• RQ3 トレーニング目的関数において、元のノイズのあるラベルと修正済み擬似ラベルの最適なバランスは何か？
• RQ4 合成ミニバッチの数（Q）や重み係数 α などのハイパーパrameter がモデル性能に与える影響は？
• RQ5 本手法は、PlantVillage のような実世界のノイズのあるデータセットにおいて、どの程度ラベル精度を向上させられるか？

主な発見

• 提案手法は、さまざまなノイズレベル下で PlantVillage データセットにおいて最先端の性能を達成し、既存のSOTA手法を上回る。
• α = 0.5 の場合、元のラベルと修正済み擬似ラベルの共同トレーニングが最良の分類精度をもたらし、監視信号の最適なバランスを示している。
• 修正モジュールによりトレーニングが安定化し、混合ノイズ（ρ=0.2 と ρ=0.3）下で約27イテレーションで収束するのに対し、同モジュールなしでは収束が不安定なままである。
• 合成ミニバッチの数（Q）を増やすことで分類精度が向上し、Q=10 が性能とトレーニング速度の最良のトレードオフを提供する。
• 最終モデルでは、PlantVillage データセットにおいてラベル精度を元のノイズラベルの 75.6% から、修正済み擬似ラベルの 92.1% まで向上させた。これは、効果的なノイズ補正を示している。
• 本手法は対称的、非対称的、混合ノイズのすべてのタイプに対して耐性があり、特定のノイズ分布を仮定しない一般化性能を確認した。