[論文レビュー] CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation
CoDEPSは、希少クラスおよび多様性のある画像サンプリングを用いた固定サイズのリプレイバッファを活用して、深刻な忘却を軽減する、単眼深度推定とパンセグメンテーションのための最初のオンライン継続的学習フレームワークを導入する。無教師のターゲットデータに対してクロスドメイン混合を用いた疑似ラベル付けを活用することで、再トレーニングなしに現実世界のドメインに対して堅牢性を維持しながら、最先端の性能を達成する。
Operating a robot in the open world requires a high level of robustness with respect to previously unseen environments. Optimally, the robot is able to adapt by itself to new conditions without human supervision, e.g., automatically adjusting its perception system to changing lighting conditions. In this work, we address the task of continual learning for deep learning-based monocular depth estimation and panoptic segmentation in new environments in an online manner. We introduce CoDEPS to perform continual learning involving multiple real-world domains while mitigating catastrophic forgetting by leveraging experience replay. In particular, we propose a novel domain-mixing strategy to generate pseudo-labels to adapt panoptic segmentation. Furthermore, we explicitly address the limited storage capacity of robotic systems by leveraging sampling strategies for constructing a fixed-size replay buffer based on rare semantic class sampling and image diversity. We perform extensive evaluations of CoDEPS on various real-world datasets demonstrating that it successfully adapts to unseen environments without sacrificing performance on previous domains while achieving state-of-the-art results. The code of our work is publicly available at http://codeps.cs.uni-freiburg.de.
研究の動機と目的
- 未確認のドメインにアクセスできない状況で、オープンワールド環境にロボットビジョンシステムを展開する課題に対処すること。
- 新しい現実世界の環境にオンラインで適応する際、ディープラーニングモデルにおける深刻な忘却を軽減すること。
- 記憶効率の高い継続的学習手法を、メモリと計算リソースが限られたロボットプラットフォームに適した形で開発すること。
- 無教師かつオンラインな方法で、深度推定とパンセグメンテーションの両方を統合的に適応可能にすること。
- 新しいクロスドメイン混合戦略を用いて、多様な現実世界のドメインにわたる一般化を向上させること。
提案手法
- 忘却を防ぐために、ソースドメインデータと以前に見たターゲット画像を組み合わせた固定サイズの経験リプレイバッファを採用する。
- ソースバッファでは希少なセマンティッククラスサンプリングを実装し、ターゲットバッファでは画像の多様性に基づくサンプリングを適用して、代表的なリプレイを確保する。
- アノテート済みのソース画像と未ラベルのターゲット画像を組み合わせる新しいクロスドメイン混合戦略を導入し、パンセグメンテーションの疑似ラベルを生成する。
- 適応を安定化させるために、ドメインに依存するモーメンタム（ターゲットドメインでは0.7）を用いた指数移動平均（EMA）更新ルールを学生ネットワークに適用する。
- モノデプス2を無教師深度推定に用い、リプレイバッファおよびドメイン混合データを用いたオンラインファインチューニングにより適応を実現する。
- マルチタスク損失を用いて、深度推定とパンセグメンテーションの両方を同時に学習し、パンセグメンテーションヘッドはクロスドメイン混合戦略から得た疑似ラベルによって更新する。
実験結果
リサーチクエスチョン
- RQ1ロボットの実世界への展開において、オンライン継続的学習を、深度推定とパンセグメンテーションの統合的タスクに効果的に適用できるか？
- RQ2ラベルのない新しいターゲットドメインに適応する際、真値ラベルにアクセスできない状況で、深刻な忘却をどのように軽減できるか？
- RQ3クラスに特化したおよび多様性に基づくサンプリングを施した固定サイズのリプレイバッファは、継続的学習における性能と安定性をどの程度向上させるか？
- RQ4アノテーションが存在しない状況で、提案されたクロスドメイン混合戦略が、パンセグメンテーションの高品質な疑似ラベルを効果的に生成できるか？
- RQ5複数の現実世界ドメインにおいて、継続的学習の枠組みで前向きの前向きおよび後向きの転送が達成できるか？
主な発見
- CoDEPSは、SemKITTI-DVPSに適応した後も、Kitti-360に適応した後でも、以前に学習したソースドメインの性能を高い水準で維持し、深刻な忘却を効果的に軽減した。
- 本手法は、新しいドメインに適応した後でも、以前のドメインでの性能が向上するという前向きの後向き転送を達成しており、効果的な知識の保持を示している。
- SemKITTI-DVPSで最初に学習した後、Kitti-360に適応した際、深度推定およびセグメンテーション両方のタスクで性能向上が観察され、前向きの転送が確認された。
- SemKITTI-DVPSのシーケンス08におけるメトリクスの推移は、適応ステップが増えるにつれて一貫した性能向上を示しており、特にKitti-360に接触した後で顕著であった。
- CoDEPSは、実世界同士の継続的学習設定において、競合するベースラインを上回り、複数の評価プロトコルで最先端の結果を達成した。
- ドメイン混合と多様性サンプリングの活用により、深度およびセグメンテーション両タスクのメトリクスが向上し、モデルの一般化性能が顕著に向上したことが裏付けられた。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。