[論文レビュー] Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions

Xinru Shan, Chaoning Zhang|arXiv (Cornell University)|Jun 23, 2023

IoT and Edge/Fog Computing被引用数 7

ひとこと要約

本稿は、物理ベースの汚染を用いて5段階の深刻度にわたり、悪天候下における自律走行におけるSegment Anything Model (SAM) のロバスト性を評価している。明るい天候下では強力なゼロショット性能を示す（mIoU = 0.7161）が、重度の雨や雪では、深刻度5においてmIoUがそれぞれ0.4395および0.4973に低下し、極端な天候条件下での信頼性が限られていることが示唆される。

ABSTRACT

Segment Anything Model (SAM) has gained considerable interest in recent times for its remarkable performance and has emerged as a foundational model in computer vision. It has been integrated in diverse downstream tasks, showcasing its strong zero-shot transfer capabilities. Given its impressive performance, there is a strong desire to apply SAM in autonomous driving to improve the performance of vision tasks, particularly in challenging scenarios such as driving under adverse weather conditions. However, its robustness under adverse weather conditions remains uncertain. In this work, we investigate the application of SAM in autonomous driving and specifically explore its robustness under adverse weather conditions. Overall, this work aims to enhance understanding of SAM's robustness in challenging scenarios before integrating it into autonomous driving vision tasks, providing valuable insights for future applications.

研究の動機と目的

• 自律走行における悪天候下でのSegment Anything Model (SAM) のロバスト性を評価すること。
• 異なる種類および深刻度の天候汚染がSAMのセグメンテーション性能に与える影響を調査すること。
• 安全に重要な自律走行システムへの統合にあたって、SAMの限界についての知見を提供すること。
• 制御された、深刻度が段階的に分けられた天候汚染下におけるSAMのゼロショットセグメンテーションのベンチマークを確立すること。

提案手法

• BDD100k データセットからの画像に物理ベースの汚染を適用し、雨、雪、霧、霜、明るさ変化の5段階の深刻度の悪天候を模擬した。
• 既存の手法を用いて悪天候画像を生成した：雨のストライプにはPhotoshopを、汚染にはFuら（2017年）およびHendrycks & Dietterich（2019年）の手法を用いた。
• IoUフィルタリングを一切行わず、各画像のSAM出力からすべての予測マスクを抽出することで、マスクカバレッジを最大化した。
• 各正解マスクに対して最も高い交差率（IoU）を示す予測マスクを選択し、精度を評価した。
• すべての正解マスクと予測マスクのペアについての平均IoU（mIoU）を計算し、セグメンテーション性能を定量化した。
• mIoUを主な指標として用い、式1で最も適合する予測マスクを特定し、式2で全インスタンスにおける平均IoUを計算した。

実験結果

リサーチクエスチョン

• RQ1 SAMのセグメンテーション性能は、異なる種類の悪天候条件下でどのように変化するか？
• RQ2 天候汚染の深刻度が上昇するにつれて、自律走行シナリオにおけるSAMのmIoUにどのような影響を与えるか？
• RQ3 特に重度の遮蔽が生じる状況において、SAMはややるか、重度の天候条件下でも安定した性能を維持できるか？
• RQ4 なぜ深刻度5の雪では、深刻度4と比較して性能が一貫しないのか？
• RQ5 物理ベースの天候汚染は、自律走行におけるSAMのゼロショット一般化にどの程度影響を与えるか？

主な発見

• 通常（元の）条件下では、SAMはmIoU = 0.7161を達成し、ゼロショット性能のベンチマークとして機能する。
• 深刻度5においては、雨ではmIoUが0.4395に低下し、雪では0.4973に低下し、重度の降雪条件下での性能低下が顕著に現れている。
• 霧と霜はより安定した性能を示し、深刻度5においてそれぞれmIoUが0.6172および0.5392であった。
• 明るさ汚染は最も影響が小さく、深刻度1ではmIoUがわずか1.8%低下（0.6983に）したため、照明変化に対しては頑健であると考えられる。
• 深刻度5における雪の外れ値（mIoU = 0.4973）が深刻度4（0.4833）よりも高いのは、強い視覚的遮蔽により雪が1つの大きなマスクとして誤分類された可能性がある。
• SAMの性能は、物体の境界がぼやけたり、見えなくなったりするような遮蔽が強い状況（重度の雨や雪）に対して最も脆弱である。