[論文レビュー] RiWNet: A moving object instance segmentation Network being Robust in adverse Weather conditions

Chenjie Wang, Chengyuan Li+3 more|arXiv (Cornell University)|Sep 4, 2021

Advanced Neural Network Applications参考文献 61被引用数 4

ひとこと要約

RiWNet は、段階的な上向きの相互作用と注目度の最適化を組み込んだ新しい特徴ピラミッドネットワーク（RiWFPN）を統合することで、雨、霧、低照度などの悪天候条件下でも頑健な動き対象インスタンスセグメンテーションを実現するエンドツーエンドの新規ネットワークである。本手法は天候特化のデータ拡張やマルチセンサーフュージョンに依存せず、ベンチマークデータセットにおいても厳しい天候条件下で最先端の性能を達成した。

ABSTRACT

Segmenting each moving object instance in a scene is essential for many applications. But like many other computer vision tasks, this task performs well in optimal weather, but then adverse weather tends to fail. To be robust in weather conditions, the usual way is to train network in data of given weather pattern or to fuse multiple sensors. We focus on a new possibility, that is, to improve its resilience to weather interference through the network's structural design. First, we propose a novel FPN structure called RiWFPN with a progressive top-down interaction and attention refinement module. RiWFPN can directly replace other FPN structures to improve the robustness of the network in non-optimal weather conditions. Then we extend SOLOV2 to capture temporal information in video to learn motion information, and propose a moving object instance segmentation network with RiWFPN called RiWNet. Finally, in order to verify the effect of moving instance segmentation in different weather disturbances, we propose a VKTTI-moving dataset which is a moving instance segmentation dataset based on the VKTTI dataset, taking into account different weather scenes such as rain, fog, sunset, morning as well as overcast. The experiment proves how RiWFPN improves the network's resilience to adverse weather effects compared to other FPN structures. We compare RiWNet to several other state-of-the-art methods in some challenging datasets, and RiWNet shows better performance especially under adverse weather conditions.

研究の動機と目的

• 雨、霧、低照度などの悪天候条件下での動き対象インスタンスセグメンテーション性能の低下を是正すること。
• 天候拡張データやマルチセンサーフュージョンに依存せずにネットワークの頑健性を向上させること。
• 劣化した画像におけるより良いオブジェクト表現を実現するため、低周波数構造的情報を強化する特徴ピラミッドネットワーク（RiWFPN）を開発すること。
• SOLOv2 を時間的モデリングで拡張し、隣接するRGBフレームから動きの手がかりを捉えること。
• 雨、霧、夕焼け、朝、曇りなど多様な天候条件を含む、動き対象インスタンスセグメンテーション用の新しいベンチマークデータセット VKTTI-moving を作成・評価すること。

提案手法

• 段階的な上向きの相互作用モジュールを備えた新規 FPN 変種（RiWFPN）を提案し、スケール間で特徴マップを精緻化することで、意味的・空間的一致性を向上させる。
• 特徴マップ内の低周波成分を強化する注目度最適化モジュールを導入し、天候劣化下でも構造的情報を保持する。
• SOLOv2 を ConvLSTM を用いた時間的エンコーダーで拡張し、連続する2フレームのRGB画像から動きの手がかりを統合する。
• 2つの連続するRGBフレームを入力として用いることで、ネットワークが空間的・時間的文脈を活用し、より正確なインスタンスセグメンテーションを実現する。
• VKITTI データセットを再ラベルし、雨、霧、夕焼け、朝、曇りなどの多様な天候条件下でのインスタンスセグメンテーションアノテーションを追加することで、VKTTI-moving データセットを構築した。
• 標準的な指標（正確率、再現率、F-スコア、IoU）を用いて、VKTTI-moving および YTVOS-moving で RiWNet をエンドツーエンドで訓練・評価した。

実験結果

リサーチクエスチョン

• RQ1 天候拡張データを必要とせず、再設計された FPN アーキテクチャが悪天候下でのインスタンスセグメンテーションネットワークの頑健性を向上させられるか？
• RQ2 段階的な上向きの特徴精緻化と注目度ベースの低周波成分強化の統合は、劣化画像における構造的情報をどれほど効果的に保持できるか？
• RQ3 ConvLSTM を用いた時間的モデリングは、天候障害下の動画シーケンスにおけるインスタンスセグメンテーション性能をどの程度向上させられるか？
• RQ4 厳しい天候条件下における最新の手法と比較して、RiWNet は動き対象インスタンスセグメンテーションでどの程度優れた性能を示すか？
• RQ5 多様な天候条件を含む新しいベンチマークデータセットは、セグメンテーションモデルの頑健性を効果的に評価・検証できるか？

主な発見

• YTVOS-moving テストセットにおいて、RiWNet は正確率 79.80%、F-スコア 73.35% を達成し、TSA や U2-ONet よりも正確率で 4.1% 以上、F-スコアで 3.4% 以上優れた性能を示した。
• RiWFPN の使用により、悪天候下でも顕著に特徴マップの品質が向上し、雨や霧の状況下でも滑らかで構造的な特徴が得られた。
• 視覚-LiDAR フュージョン SLAM（DV-LOAM）において、RiWNet を統合することで、KITTI シーケンス 04 において相対的並進誤差を 0.61% から 0.56%、回転誤差を 0.30°/100m から 0.26°/100m に低減した。
• RiWNet の動き対象マスクを用いて生成された点群地図では、動き対象のアーチファクトが顕著に減少し、静的シーン再構築品質が向上した。
• キーフレームで並列処理しながらも、RiWNet は約 5 Hz のリアルタイム推論を維持しており、リアルタイム SLAM システムとの互換性があることを示した。
• VKTTI-moving データセットは、標準的および頑健なセグメンテーションモデルの性能差を多様な天候条件下で的確に捉えており、ベンチマークとしての有効性を検証した。