[論文レビュー] High-Throughput Phenotyping using Computer Vision and Machine Learning

Vivaan Singhvi, Langalibalele Lunga+6 more|arXiv (Cornell University)|Jan 1, 2023

Cell Image Analysis Techniques被引用数 1

ひとこと要約

本研究は、ラベル付き画像を用いてポピュラス・トリコカルパの葉の高スループット形態計測を実現するコンピュータビジョンおよび機械学習パイプラインを開発した。ラベル抽出におけるOCRの正確度は94.31%、葉形態の分類平均正確度は62.82%、乾ばつ処理の予測正確度は60.08%を達成した。この手法により、自動的なデータ収集と形態計測分析が可能となり、農業分野におけるスケーラブルな植物形態計測の強力な可能性を示した。

ABSTRACT

High-throughput phenotyping refers to the non-destructive and efficient evaluation of plant phenotypes. In recent years, it has been coupled with machine learning in order to improve the process of phenotyping plants by increasing efficiency in handling large datasets and developing methods for the extraction of specific traits. Previous studies have developed methods to advance these challenges through the application of deep neural networks in tandem with automated cameras; however, the datasets being studied often excluded physical labels. In this study, we used a dataset provided by Oak Ridge National Laboratory with 1,672 images of Populus Trichocarpa with white labels displaying treatment (control or drought), block, row, position, and genotype. Optical character recognition (OCR) was used to read these labels on the plants, image segmentation techniques in conjunction with machine learning algorithms were used for morphological classifications, machine learning models were used to predict treatment based on those classifications, and analyzed encoded EXIF tags were used for the purpose of finding leaf size and correlations between phenotypes. We found that our OCR model had an accuracy of 94.31% for non-null text extractions, allowing for the information to be accurately placed in a spreadsheet. Our classification models identified leaf shape, color, and level of brown splotches with an average accuracy of 62.82%, and plant treatment with an accuracy of 60.08%. Finally, we identified a few crucial pieces of information absent from the EXIF tags that prevented the assessment of the leaf size. There was also missing information that prevented the assessment of correlations between phenotypes and conditions. However, future studies could improve upon this to allow for the assessment of these features.

研究の動機と目的

• 画像内の白色ラベルから処理条件、遺伝子型、実験メタデータを自動抽出するため、OCRを用いた手法の開発。
• コンピュータビジョンおよび機械学習を用いて、葉の形態的特徴（形状、色、茶色いしみ）を分類する。
• 形態的分類に基づいて、植物の処理条件（乾ばつ対照）を予測する予測モデルの構築。
• EXIFメタデータが葉のサイズ推定や形態計測-環境要因の相関関係を可能にするかを評価する。
• 軽量で事前学習済みモデルを用いた、スケーラブルでリソースが限られた形態計測パイプラインの実現可能性を評価する。

提案手法

• 回転や部分的遮蔽があっても耐性のある白ラベルからのテキスト抽出のため、PaddleOCRを適用した。
• 微調整なしで正確な葉インスタンスセグメンテーションが可能なゼロショット手法として、Segment Anything Model (SAM) を使用した。
• 事前学習済み分類器（ランダムフォレストを含む）を用いて、セグメンテッド画像特徴に基づき葉の形態を分類した。
• カメラの位置、焦点距離、姿勢などのEXIFメタデータを抽出・分析し、葉のサイズ推定と空間的文脈の推定を試みた。
• OCRで抽出したラベル情報を画像由来の形態的特徴と統合し、処理条件予測モデルを学習した。
• オールドリッジ国立研究所から提供された1,672枚のラベル付き画像データセット（真値メタデータ付）を用いて結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 画像内の物理的ラベルから処理条件、ブロック、行、位置、遺伝子型の情報が、OCRで正確に抽出可能か？
• RQ2 画像特徴に基づいて、機械学習モデルが葉の形態的特徴（形状、色、茶色いしみ）を信頼性高く分類可能か？
• RQ3 形態的分類に基づく予測モデルが、単一の形態的特徴から植物の処理条件（乾ばつ対照）を正しく推定可能か？
• RQ4 EXIFタグを用いて葉のサイズを推定できるか、あるいは形態計測と環境要因の相関関係を確立できるか？
• RQ5 PaddleOCR や SAM のような軽量で事前学習済みモデルが、最小限のデータ特化チューニングで高スループット形態計測に効果的に適用可能か？

主な発見

• OCRモデルは、ラベル付き植物画像からの非nullテキスト抽出において94.31%の正確度を達成し、自動スプレッドシート生成を可能にした。
• 葉の形態的特徴（形状、色、茶色いしみ）の分類モデルは、平均で62.82%の正確度を達成した。
• 形態的特徴に基づく処理条件予測モデルは、乾ばつまたは対照条件を60.08%の正確度で正しく分類した。
• 焦点距離や距離のメタデータが欠落していたため、EXIFタグからの葉のサイズ推定は不十分であり、幾何的推定が制限された。
• 土壌や気象データなどの環境メタデータが欠落していたため、形態計測-環境相関分析は実施できなかったが、モデルの潜在的有用性は確認された。
• PaddleOCR や SAM のような事前学習済みモデルの使用により、最小限の微調整で迅速かつ正確で耐性のある形態計測が実現可能であり、スケーラビリティの高い可能性を示した。