[論文レビュー] A SAM-based Solution for Hierarchical Panoptic Segmentation of Crops and Weeds Competition

Khoa Dang Nguyen, Thanh-Hai Phung+1 more|arXiv (Cornell University)|Sep 24, 2023

Smart Agriculture and AI被引用数 6

ひとこと要約

本稿では、作物および雑草の階層的パノプティックセグメンテーションのため、微調整された YOLO-v8 および DINO オブジェクト検出器と HQ-SAM を組み合わせたハイブリッド手法を提示する。検出器が出力するバウンディングボックスをプロンプトとして HQ-SAM に供給することで、PhenoBench データセット上で PQ+ スコア 81.33 を達成し、ベースラインモデルを上回り、細い構造を持つ植物が多数存在する複雑な農業シーンにおいても優れた汎化性能を示した。

ABSTRACT

Panoptic segmentation in agriculture is an advanced computer vision technique that provides a comprehensive understanding of field composition. It facilitates various tasks such as crop and weed segmentation, plant panoptic segmentation, and leaf instance segmentation, all aimed at addressing challenges in agriculture. Exploring the application of panoptic segmentation in agriculture, the 8th Workshop on Computer Vision in Plant Phenotyping and Agriculture (CVPPA) hosted the challenge of hierarchical panoptic segmentation of crops and weeds using the PhenoBench dataset. To tackle the tasks presented in this competition, we propose an approach that combines the effectiveness of the Segment AnyThing Model (SAM) for instance segmentation with prompt input from object detection models. Specifically, we integrated two notable approaches in object detection, namely DINO and YOLO-v8. Our best-performing model achieved a PQ+ score of 81.33 based on the evaluation metrics of the competition.

研究の動機と目的

• 複雑で細い構造を持つ植物を有する農業シーンにおいて、正確な階層的パノプティックセグメンテーションを実現する挑戦に応えること。
• オブジェクト検出器とセグメンテーションモデルを組み合わせたモジュラーなパイプラインを用いて、フィールドレベルの植物表型解析におけるインスタンスおよびセマンティックセグメンテーションの性能を向上させること。
• 高品質なアノテーションが付与された実世界の農業データセットにおいて、微調整された SAM のバリエーションを用いたプロンプトベースのセグメンテーションの有効性を評価すること。
• ターゲットドメインに特化した微調整、LoRA アダプテーション、アンサンブル検出戦略を用いることで、さまざまな植物タイプにわたるモデルのロバスト性を向上させること。

提案手法

• 本手法は二段階のパイプラインを採用する：まず、オブジェクト検出モデル（YOLO-v8 および DINO）がセグメンテーション用のバウンディングボックスプロンプトを生成する。
• セグメンテーションのバックボーンとして、高品質なセグメンテーションを実現する「High-Quality Segment Anything Model（HQ-SAM）」を採用し、PhenoBench データセット上で真値アノテーションおよび拡張済みバウンディングボックスを用いて微調整を行う。
• HQ-SAM の微調整時にボックス拡張（ボックスサイズの最大 20 ピixe もしくは 10% までランダムノイズを追加）を適用し、不完全な検出器出力に対してもロバストな性能を向上させる。
• GPU メモリ効率の向上と、一般消費者用ハードウェアでもトレーニングが可能になるように、HQ-SAM に LoRA 微調整を適用する。
• 検出器の出力を IOU しきい値 0.5 を用いて統合し、重複を除去する。さらに、幅および高さが 50 ピクセルを超える雑草検出結果に対して追加のフィルタリングを実施する。
• トレーニングには AdamW を使用し、学習率スケジューリングにコサインアニーリングを採用。20 エポックにわたり性能向上が見られない場合は早期停止を実施。メモリ効率を向上させるために混合精度トレーニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 検出器が出力するバウンディングボックスをプロンプトとして用いたプロンプトベースのセグメンテーションは、作物および雑草の階層的パノプティックセグメンテーションにおいて高い性能を達成できるか？
• RQ2 ボックス拡張および LoRA を用いた HQ-SAM の微調整は、複雑な農業シーンにおけるセグメンテーション精度をどのように向上させるか？
• RQ3 YOLO-v8 と DINO は、PhenoBench データセットにおいて、さまざまな植物タイプ（雑草、作物、葉）を検出する上で、それぞれどのような性能を示すか？
• RQ4 YOLO-v8 と DINO の複数の検出器を組み合わせることで、検出およびセグメンテーションのロバスト性はどの程度向上するか？
• RQ5 モデルアーキテクチャの選択（例：ViT-Base 対 ViT-Huge）は、このパイプラインにおける推論品質およびトレーニング効率にどのように影響を与えるか？

主な発見

• 最良のモデルは、PhenoBench データセットで PQ+ スコア 81.33 を達成し、Mask R-CNN や Mask2Former を含む他の報告済み手法を上回った。
• YOLO-v8 nano は、より大きな DINO モデルと同等の雑草検出性能を示し、雑草セグメンテーションにおいて高い効率性と有効性を示した。
• DINO は葉および作物の検出において優れた性能を示したが、YOLO-v8 は雑草検出において優位であったため、アンサンブルとして両者の併用が妥当であると結論づけられた。
• 検出器が出力するプロンプトを用いた微調整済み HQ-SAM は、真値ボックスを用いたベースライン HQ-SAM よりも顕著に優れた性能を示し、エンドツーエンドの適応の価値を裏付けた。
• HQ-SAM の微調整時に LoRA を使用することで、メモリ使用量を削減しつつ、パラメータ効率の高い適応が可能となり、一般消費者用 GPU でもトレーニングが可能となった。
• 自動混合精度（AMP）はトレーニング効率を向上させたが、葉検出器の AP スコアを低下させた。これは、混合精度使用におけるタスク固有のトレードオフが存在することを示唆している。