[論文レビュー] An Efficient Domain-Incremental Learning Approach to Drive in All Weather Conditions

M. Jehanzeb Mirza, Marc Masana+2 more|arXiv (Cornell University)|Apr 19, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、自動運転におけるドメインインクリメンタル学習のためのDISCを提案する。この手法は、各天候状態ごとに分野特有の一次および二次統計（平均と分散）のみを保存することで、ゼロフォーギーティングを達成する。推論時に、これらの統計を動的に置き換えることで、再訓練やモデル重みの保存を必要とせず、雨、濃霧、雪などの新しい天候状態にリアルタイムで適応可能となる。最小限のメモリおよび計算コストで、あらゆる天候条件下でも頑健な物体検出を実現する。

ABSTRACT

Although deep neural networks enable impressive visual perception performance for autonomous driving, their robustness to varying weather conditions still requires attention. When adapting these models for changed environments, such as different weather conditions, they are prone to forgetting previously learned information. This catastrophic forgetting is typically addressed via incremental learning approaches which usually re-train the model by either keeping a memory bank of training samples or keeping a copy of the entire model or model parameters for each scenario. While these approaches show impressive results, they can be prone to scalability issues and their applicability for autonomous driving in all weather conditions has not been shown. In this paper we propose DISC -- Domain Incremental through Statistical Correction -- a simple online zero-forgetting approach which can incrementally learn new tasks (i.e weather conditions) without requiring re-training or expensive memory banks. The only information we store for each task are the statistical parameters as we categorize each domain by the change in first and second order statistics. Thus, as each task arrives, we simply 'plug and play' the statistical vectors for the corresponding task into the model and it immediately starts to perform well on that task. We show the efficacy of our approach by testing it for object detection in a challenging domain-incremental autonomous driving scenario where we encounter different adverse weather conditions, such as heavy rain, fog, and snow.

研究の動機と目的

• 自動運転における新しい天候状態に適応する際のディープラーニングモデルにおける災難的忘却を解決すること。
• 再訓練や大容量のメモリバンクの保存を必要とせず、多様で変化する天候状態においても頑健な物体検出を実現すること。
• 以前に学習済みの天候条件での性能を維持しながら、新しい天候条件に適応できるスケーラブルで効率的なインクリメンタル学習手法を開発すること。
• 実世界のオンラインドメイン適応において、「プラグアンドプレイ」な統計的補正メカニズムの実現可能性を示すこと。

提案手法

• 本手法は、検出モデルの特徴マップの一次および二次統計（平均μと分散σ²）の変化に基づき、各天候状態を分類する。
• 推論時には、固定されたバックボーンを使用し、バッチ正則化の統計のみを、現在の天候状態に対応するタスク固有の値に置き換える。
• 本手法では再訓練やモデルパラメータの保存を必要とせず、各天候状態ごとに分野特有の統計（μ_ID, σ²_ID）のみを保存する。
• システムは、現在のドメインに基づき、推論時に正しい統計を「プラグイン」することで即座に適応可能となる。
• 本手法はオンラインで逐次的かつインクリメンタルに動作し、複数の天候シフトに順次適応可能であり、過去の条件での性能劣化を引き起こさない。
• 統計的補正は推論時に適用されるため、計算コストが低く抑えられ、リアルタイムデプロイメントに適している。

Figure 1 : Robust object detection for autonomous driving across varying weather conditions with DISC. We only require domain-specific statistics ( i.e . $\mu_{\text{ID}},\sigma_{\text{ID}}^{2}$ per weather condition ID) which are inserted into a frozen detection model to achieve zero-forgetting , i

実験結果

リサーチクエスチョン

• RQ1 ドメインインクリメンタル学習アプローチが、自動運転における新しい天候状態に適応する際にゼロフォーギーティングを達成できるか？
• RQ2 再訓練やモデルパラメータの保存を伴わずに、複数の天候シフトにわたって物体検出性能を維持できるか？
• RQ3 バッチ正則化統計の統計的補正が、多様な天候状態にわたる頑健な推論を実現するためにどの程度有効か？
• RQ4 本手法は、強い雨、濃い霧、強雪といった困難な天候状態にも一般化可能か？

主な発見

• DISCはゼロフォーギーティングを達成し、例えば晴れや雨の状態で学習済みの性能を、濃霧や雪の新しい状態に適応する際も維持する。
• 本手法は高い汎化性を示す：雨や雪の統計を用いることで、ソースオンリーベースラインに比べて他の天候条件でも性能が向上する。
• 濃霧固有の統計は濃霧データでのみ最良の性能を発揮するが、それでも晴れの統計よりも濃霧条件下で優れた性能を示しており、ドメイン特有の適応が有効であることを示している。
• 特に雪や濃い霧を含む困難なシーケンスにおいて、競合するオンライン手法と比較して性能劣化が顕著に低い。
• クロスタスク評価では、DISCはドメインごとに分離したモデルよりも優れた汎化性能を示しており、天候条件間での転送性が劣化していない。
• クラス別分析では、サイクリストは濃い霧条件下で最も検出が困難なオブジェクトクラスであることが明らかとなり、今後の研究における重要な課題が浮き彫りになった。

Figure 2 : Domain-incremental learning setting used in this paper. Different tasks correspond to different weather conditions which are learned in the training phase. During inference, we evaluate the performance of the current task along with all the previously seen tasks.