[論文レビュー] Uncovering bias in the PlantVillage dataset

Mehmet A. Noyan|arXiv (Cornell University)|Jun 9, 2022

Smart Agriculture and AI被引用数 22

ひとこと要約

研究は、背景ピクセル8つのみで訓練したモデルが49.0%の精度を達成し、ランダムの機会を大幅に上回ることでPlantVillageデータセットにおける有意なバイアスを示し、背景/キャプチャバイアスを示唆します。背景除去はバイアスを完全に除去しないことも示し、緩和戦略について論じます。

ABSTRACT

We report our investigation on the use of the popular PlantVillage dataset for training deep learning based plant disease detection models. We trained a machine learning model using only 8 pixels from the PlantVillage image backgrounds. The model achieved 49.0% accuracy on the held-out test set, well above the random guessing accuracy of 2.6%. This result indicates that the PlantVillage dataset contains noise correlated with the labels and deep learning models can easily exploit this bias to make predictions. Possible approaches to alleviate this problem are discussed.

研究の動機と目的

• PlantVillageデータセットにMLモデルが悪用できるバイアスが含まれているかを評価する。
• 8ピクセルの背景情報を用いて背景情報が病気分類にどれだけ寄与するかを定量化する。
• 背景が除去または操作された場合の関連データセットでのバイアスの有無を比較する。

提案手法

• 各画像から8ピクセルを抽出してPlantVillage_8pxを作成する（四隅と四つの辺の中央）。
• デフォルトのハイパーパラメータを用いて80/20の訓練/テスト分割でPlantVillage_8px上にランダムフォレスト分類器を訓練する。
• ランダム推測ベースライン（100/38 ≈ 2.6%）と比較する。
• 背景/キャプチャバイアスの影響を評価するため、PlantVillage_blur、PlantVillage_fg_blur、PlantVillage_bg_blurへ分析を拡張する。
• 対照としてMNIST_8pxで同じ評価を適用し、10クラスを扱う。
• データセット設計とモデル評価の実務的影響についてバイアス源を議論する。

実験結果

リサーチクエスチョン

• RQ1 PlantVillageデータセットには、背景/キャプチャ情報だけで高精度を可能にするバイアスが含まれているか。
• RQ2 PlantVillage由来のモデルで背景情報を除去するとバイアスは消えるか。
• RQ3 背景操作は、MNISTのような無偏データセットと比較した際のバイアスにどう影響するか。
• RQ4 植物病害検出におけるデータセット設計とモデル性能報告の実務上の含意は何か。

主な発見

データセット名	ランダム推測精度	ランダムフォレストモデル
PlantVillage_8px	2.6%	49.0%
MNIST_8px	10%	11.7%

• PlantVillage_8pxで訓練されたモデルはテストセットで49.0%の精度を達成し、ランダム推測の2.6%を大幅に上回る。
• MNIST_8pxでは同じモデルが11.7%の精度を達成し、ほぼランダム推測（10%）に近い。
• 背景除去（PlantVillage_fg_blur）は、背景を含むデータセットと同様のバイアスを示す（11.7%、10.0%、10.8% vs 2.6%）。
• キャプチャバイアスは前景と背景の双方に影響を及ぼすため、背景情報を除去してもPlantVillageのバイアスを完全には除去できない。
• FieldデータでPlantVillageを拡張すると、データソースが異なる場合に新たなバイアスが生じる可能性があり、根本的なバイアスの問題を解決しない。