[논문 리뷰] An Efficient Domain-Incremental Learning Approach to Drive in All Weather Conditions

M. Jehanzeb Mirza, Marc Masana외 2명|arXiv (Cornell University)|2022. 04. 19.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 자율주행을 위한 도메인-증분 학습 방법인 DISC를 제안하며, 각 기상 조건에 대해 도메인 전용의 일차 및 이차 통계량(평균 및 분산)만을 저장하여 완전한 기억을 유지함으로써 0-기억 상실을 달성한다. 추론 시 고정된 검출 모델 내에서 이러한 통계량을 동적으로 교체함으로써, 재학습이나 모델 가중치 저장 없이 빗방울, thick fogs, 눈과 같은 새로운 기상 조건에 실시간으로 적응할 수 있으며, 최소한의 메모리 및 계산 비용으로 모든 기상 상황에서 강력한 객체 검출 성능을 달성한다.

ABSTRACT

Although deep neural networks enable impressive visual perception performance for autonomous driving, their robustness to varying weather conditions still requires attention. When adapting these models for changed environments, such as different weather conditions, they are prone to forgetting previously learned information. This catastrophic forgetting is typically addressed via incremental learning approaches which usually re-train the model by either keeping a memory bank of training samples or keeping a copy of the entire model or model parameters for each scenario. While these approaches show impressive results, they can be prone to scalability issues and their applicability for autonomous driving in all weather conditions has not been shown. In this paper we propose DISC -- Domain Incremental through Statistical Correction -- a simple online zero-forgetting approach which can incrementally learn new tasks (i.e weather conditions) without requiring re-training or expensive memory banks. The only information we store for each task are the statistical parameters as we categorize each domain by the change in first and second order statistics. Thus, as each task arrives, we simply 'plug and play' the statistical vectors for the corresponding task into the model and it immediately starts to perform well on that task. We show the efficacy of our approach by testing it for object detection in a challenging domain-incremental autonomous driving scenario where we encounter different adverse weather conditions, such as heavy rain, fog, and snow.

연구 동기 및 목표

• 자율주행에서 새로운 기상 조건으로의 적응 시 깊이 학습 모델에서의 치명적인 기억 상실 문제를 해결하기 위해.
• 재학습이나 큰 메모리 뱅크를 저장하지 않고도 다양한 변화하는 기상 조건에서 강력한 객체 검출 성능을 유지를 위해.
• 이전에 본 기상 조건에서의 성능를 유지하면서 새로운 조건으로의 적응이 가능한 확장성 있고 효율적인 증분 학습 방법을 개발하기 위해.
• 실세계에서 온라인 도메인 적응을 위한 '플러그 앤 플레이' 통계 보정 기반 메커니즘의 실현 가능성을 입증하기 위해.

제안 방법

• 이 방법은 검출 모델의 특징 맵에서의 일차 및 이차 통계량(평균 μ 및 분산 σ²)의 변화를 기반으로 각 기상 조건을 분류한다.
• 추론 시, 모델은 고정된 백본을 사용하며, 배치 정규화 통계량만 현재 기상 조건에 해당하는 작업 전용 값으로 교체된다.
• 이 방법은 재학습이나 모델 파rameter의 저장이 필요 없으며, 기상 조건 별 도메인 전용 통계량(μ_ID, σ²_ID)만 저장된다.
• 시스템은 현재 도메인에 따라 추론 시 올바른 통계량을 동적으로 '플러그인'함으로써 즉각적인 적응이 가능하다.
• 이 방법은 온라인이고 증분적인 방식으로 작동하여, 이전 조건에서의 성능 저하 없이 다수의 기상 변화에 순차적으로 적응할 수 있다.
• 통계 보정은 추론 시점에 적용되므로, 계산 비용이 낮고 실시간 구현에 적합하다.

Figure 1 : Robust object detection for autonomous driving across varying weather conditions with DISC. We only require domain-specific statistics ( i.e . $\mu_{\text{ID}},\sigma_{\text{ID}}^{2}$ per weather condition ID) which are inserted into a frozen detection model to achieve zero-forgetting , i

실험 결과

연구 질문

• RQ1 도메인-증분 학습 방법이 자율주행에서 새로운 기상 조건으로의 적응 시 0-기억 상실을 달성할 수 있는가?
• RQ2 재학습이나 모델 파rameter 저장 없이도 다수의 기상 변화에 걸쳐 객체 검출 성능을 유지할 수 있는가?
• RQ3 배치 정규화 통계량의 통계적 보정이 다양한 기상 조건에서 강력한 추론을 가능하게 하는가?
• RQ4 이 방법은 빽빽한 비, 두꺼운 thick fogs, 강한 눈과 같은 도전적인 기상 조건으로 일반화되는가?

주요 결과

• DISC는 새로운 기상 조건(예: thick fogs, 눈)으로의 적응 시 이전에 본 기상 조건(예: 맑음, 비)에서의 검출 성능를 유지함으로써 0-기억 상실을 달성한다.
• 이 방법은 뛰어난 전이 능력을 보이며, 빗방울과 눈 기상 조건의 통계량이 소스 전용 기준 대비 다른 조건에서의 성능을 향상시킨다.
• thick fogs 전용 통계량은 thick fogs 데이터에서 가장 우수한 성능를 보이지만, 여전히 맑은 날씨 통계량보다 두꺼운 thick fogs에서 성능가 뛰어나, 도메인 전용 적응이 효과적임을 시사한다.
• 특히 눈과 두꺼운 thick fogs를 포함한 도전적인 시퀀스에서, DISC는 경쟁 기반의 온라인 방법보다 성능 저하가 현저히 낮다.
• 교차 작업 평가에서 DISC는 서로 분리된 모델보다 더 우수한 일반화 능력을 보이며, 기상 조건 간 전이 능력이 열악한 점을 보완한다.
• 클래스별 분석에서, 두꺼운 thick fogs에서 자전거 타는 사람을 검출하는 것이 가장 도전적인 객체 클래스로 나타나,未래 연구의 핵심 과제로 제기된다.

Figure 2 : Domain-incremental learning setting used in this paper. Different tasks correspond to different weather conditions which are learned in the training phase. During inference, we evaluate the performance of the current task along with all the previously seen tasks.