[論文レビュー] Leaf Only SAM: A Segment Anything Pipeline for Zero-Shot Automated Leaf Segmentation

Dominic Williams, Fraser Macfarlane+1 more|arXiv (Cornell University)|May 16, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用数 3

ひとこと要約

本論文では、トレーニングデータやアノテーションを一切必要とせず、後処理を用いて自動的にジャガイモの葉をセグメンテーションするゼロショットパイプライン「Leaf Only SAM」を提案する。精度（60.3）と再現率（63.2）は、微調整されたMask R-CNN（74.7の精度、78.7の再現率）に劣るが、高価なアノテーションデータの必要がないため、植物形態計測分野における強力な潜在能力を示している。

ABSTRACT

Segment Anything Model (SAM) is a new foundation model that can be used as a zero-shot object segmentation method with the use of either guide prompts such as bounding boxes, polygons, or points. Alternatively, additional post processing steps can be used to identify objects of interest after segmenting everything in an image. Here we present a method using segment anything together with a series of post processing steps to segment potato leaves, called Leaf Only SAM. The advantage of this proposed method is that it does not require any training data to produce its results so has many applications across the field of plant phenotyping where there is limited high quality annotated data available. We compare the performance of Leaf Only SAM to a Mask R-CNN model which has been fine-tuned on our small novel potato leaf dataset. On the evaluation dataset, Leaf Only SAM finds an average recall of 63.2 and an average precision of 60.3, compared to recall of 78.7 and precision of 74.7 for Mask R-CNN. Leaf Only SAM does not perform better than the fine-tuned Mask R-CNN model on our data, but the SAM based model does not require any extra training or annotation of our new dataset. This shows there is potential to use SAM as a zero-shot classifier with the addition of post processing steps.

研究の動機と目的

• 植物形態計測において、アノテーション付きトレーニングデータを必要としないゼロショットリーフセグメンテーションパイプラインの開発。
• 微調整なしに、後処理を組み合わせたSAMが、特定のリーフ領域を効果的に分離できるかどうかの評価。
• 新規のジャガイモの葉データセット上で、提案手法と微調整済みのMask R-CNNの性能を比較すること。
• 基礎モデル（例：SAM）を、特定の生物学的セグメンテーションタスクに対してゼロショット分類器として使用できるかどうかの妥当性を示すこと。

提案手法

• 本手法は、事前に学習されたSegment Anything Model（SAM）を用いて、画像内のすべてのオブジェクト（リーフを含む）のマスクを生成する。
• リーフ領域に対応するマスクのみを保持するための後処理パイプラインを適用する。
• フィルタリング処理は、面積、アスペクト比、ホロウ形状などの幾何学的および形状的特徴に依存して、リーフ以外のオブジェクトと区別する。
• モデルの微調整や追加のアノテーションなしに、ジャガイモの植物画像に対してエンドツーエンドでパイプラインを適用する。
• 本手法は、SAMのゼロショット一般化能力を活用し、生画像から直接リーフをセグメンテーションする。
• 最終出力は、リーフ領域のみを特定するバイナリマスクであり、後続の形態計測応用に適している。

実験結果

リサーチクエスチョン

• RQ1 微調整やラベル付きデータなしに、後処理のみでSAMを効果的にゼロショットリーフセグメンテーションに適応できるか？
• RQ2 新規のジャガイモの葉データセット上で、SAMベースのパイプラインと微調整済みのMask R-CNNの性能はどのように比較されるか？
• RQ3 SAMのフルインスタンスセグメンテーション出力からリーフマスクを分離するために、どの形態的・幾何的特徴が最も効果的か？
• RQ4 ドメイン特化の後処理と組み合わせた場合、SAMのような基礎モデルが植物形態計測分野でゼロショット分類器としてどの程度活用可能か？
• RQ5 トレーニングデータが存在しないことが、リーフ固有のタスクにおけるセグメンテーション精度に顕著に影響を与えるか？

主な発見

• Leaf Only SAMは、評価データセットで平均再現率63.2、平均精度60.3を達成した。
• 微調整済みのMask R-CNNは、同じデータセットで78.7の再現率と74.7の精度を示し、Leaf Only SAMを上回った。
• 性能指標が低いものの、SAMベースの手法はトレーニングデータやアノテーションを一切必要としないため、ゼロショットの利点が顕著に現れた。
• 後処理パイプラインは、SAMの初期セグメンテーションマスクの形状とサイズ制約を活用して、効果的にリーフ領域を分離した。
• 結果から、SAMがドメイン特化の最小限の調整でリーフセグメンテーション用のゼロショット分類器として再利用可能であることが確認された。
• アノテーションデータが不足するような植物形態計測分野の応用において、本手法は強く有望であることが示された。