[論文レビュー] PRMI: A Dataset of Minirhizotron Images for Diverse Plant Root Study

Weihuang Xu, Guohao Yu+11 more|arXiv (Cornell University)|Jan 20, 2022

Plant nutrient uptake and metabolism被引用数 7

ひとこと要約

本論文では、6種の植物（綿、パパイア、ピーナッツ、ヒマワリ、サクラサフラン、スイッチグラス）にまたがる72,000枚のミニリゾトロンRGB画像を含む大規模なデータセットPRMIを紹介する。画像レベルおよびピクセルレベルのアノテーションを備えており、根のセグメンテーションにおける教師ありおよび弱教師ありディープラーニングを可能にする。U-Netは全種平均で35%のIoUを達成したが、これは多様な土壌および根の状態下での根セグメンテーションの難易度を示している。

ABSTRACT

Understanding a plant's root system architecture (RSA) is crucial for a variety of plant science problem domains including sustainability and climate adaptation. Minirhizotron (MR) technology is a widely-used approach for phenotyping RSA non-destructively by capturing root imagery over time. Precisely segmenting roots from the soil in MR imagery is a critical step in studying RSA features. In this paper, we introduce a large-scale dataset of plant root images captured by MR technology. In total, there are over 72K RGB root images across six different species including cotton, papaya, peanut, sesame, sunflower, and switchgrass in the dataset. The images span a variety of conditions including varied root age, root structures, soil types, and depths under the soil surface. All of the images have been annotated with weak image-level labels indicating whether each image contains roots or not. The image-level labels can be used to support weakly supervised learning in plant root segmentation tasks. In addition, 63K images have been manually annotated to generate pixel-level binary masks indicating whether each pixel corresponds to root or not. These pixel-level binary masks can be used as ground truth for supervised learning in semantic segmentation tasks. By introducing this dataset, we aim to facilitate the automatic segmentation of roots and the research of RSA with deep learning and other image analysis algorithms.

研究の動機と目的

• ミニリゾトロン画像の手作業によるアノテーションが時間的にかかるという、植物の根形態計測のボトルネックを解消すること。
• 画像レベルおよびピクセルレベルの両方のアノテーションを備えた大規模で多様なデータセットを提供することで、ディープラーニングを用いた自動根セグメンテーションアルゴリズムの開発を支援すること。
• 複数の種、土壌タイプ、根の年齢、深さをカバーするデータセットを提供することで、トランスファーラーニング、少数ショット学習、データ分布シフトに関する研究を促進すること。
• コンピュータビジョンと植物科学の間のギャップを埋めるために、公開可能で高品質な根システム構造（RSA）解析用データセットを提供すること。
• 高いクラス不均衡と可視性のばらつきを伴う現実的で複雑な現地条件における、セグメンテーションモデルのベンチマークを可能にすること。

提案手法

• データセットは、複数のフィールドサイトで収集されたミニリゾトロン画像から構築された。透明なチューブを45°の角度に設置し、根の成長を時間経過とともに捉えた。
• 各画像には、根の有無を示す画像レベルラベルが付与され、弱教師あり学習を可能にした。
• 63,000枚以上の画像が、根ピクセルと土壌ピクセルを区別するピクセルレベルの二値マスクによって手作業でアノテートされ、教師ありセマンティックセグメンテーションを可能にした。
• 2種類のアノテーション戦略が用いられた：スーパーピクセルベースのトレースと、U-Net予測の修正による精度向上と効率化。
• データ漏洩を防ぐために、ミニリゾトロンチューブごとにデータ分割が行われ、各種で60%を訓練、20%を検証、20%をテストに割り当てた（スイッチグラスを除く）。
• ベースラインモデル（U-NetおよびIRNet）を訓練データセットで学習させ、テストデータセットでIoUおよびF1スコアを指標として評価した。

実験結果

リサーチクエスチョン

• RQ1 多様な土壌および根の状態下で、複雑なミニリゾトロン画像からの根セグメンテーションに、ディープラーニングモデルはどの程度効果的か？
• RQ2 現実のミニリゾトロンデータにおいて、根ピクセルと土壌ピクセルの間のクラス不均衡は、セグメンテーション性能にどの程度影響を与えるか？
• RQ3 根が希薄で土壌と視覚的に区別がつかない場合、CAMベースの弱教師ありモデル（例：CAM）はどの程度の性能を示すか？
• RQ4 このデータセットを用いて、異なる植物種や土壌タイプ間でトランスファーラーニングを効果的に適用できるか？
• RQ5 綿とスイッチグラスのように、根の形態や可視性が異なる種において、モデルの性能はどのように変動するか？

主な発見

• U-Netモデルは全種平均で35%の交差率（IoU）を達成し、セグメンテーションタスクとしてのデータセットの高難易度を示している。
• パパイアは最高の性能を示し、IoUが56.0%、F1スコアが0.718を記録した。これは根の可視性が安定しており、セグメンテーションが比較的容易であることを示唆している。
• 綿とヒマワリは最低のIoUスコア（それぞれ4.8%および29.7%）を示し、根の存在が希薄でセグメンテーションが極めて困難であることを反映している。
• CAMベースの弱教師あり手法であるIRNetモデルは、平均でIoUがたったの2.2%にとどまり、根がまれまたは隠されている場合に関連する特徴に注目するのが難しいことを示している。
• このデータセットには顕著なクラス不均衡が見られ、土壌ピクセルが根ピクセルを大幅に上回っており、モデルが土壌を予測する傾向に偏る。
• 画像レベルおよびピクセルレベルの両方のアノテーションを含むことで、同じデータ上で弱教師ありおよび完全教師ありセグメンテーションモデルの訓練と評価が可能になった。