[논문 리뷰] Tackling Catastrophic Forgetting and Background Shift in Continual Semantic Segmentation

Arthur Douillard, Yifu Chen외 2명|arXiv (Cornell University)|2021. 06. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 105인용 수 11

한 줄 요약

이 논문은 연속적 의미 분할에서 치명적인 잊음과 배경 전이 문제를 해결하기 위해 국소 POD(다중 척도 특징 디스틸레이션)와 엔트로피 기반 가짜 레이블링을 통해 이전 클래스의 픽셀을 배경에서 복구하는 새로운 접근법인 PLOP을 제안한다. 또한 메모리 효율적인 재생 방법인 오브제кт 리헤르설을 도입하여 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 장기 학습 능력과 강건성에서 뚜렷한 성과를 보였다.

ABSTRACT

Deep learning approaches are nowadays ubiquitously used to tackle computer vision tasks such as semantic segmentation, requiring large datasets and substantial computational power. Continual learning for semantic segmentation (CSS) is an emerging trend that consists in updating an old model by sequentially adding new classes. However, continual learning methods are usually prone to catastrophic forgetting. This issue is further aggravated in CSS where, at each step, old classes from previous iterations are collapsed into the background. In this paper, we propose Local POD, a multi-scale pooling distillation scheme that preserves long- and short-range spatial relationships at feature level. Furthermore, we design an entropy-based pseudo-labelling of the background w.r.t. classes predicted by the old model to deal with background shift and avoid catastrophic forgetting of the old classes. Finally, we introduce a novel rehearsal method that is particularly suited for segmentation. Our approach, called PLOP, significantly outperforms state-of-the-art methods in existing CSS scenarios, as well as in newly proposed challenging benchmarks.

연구 동기 및 목표

• 연속적 의미 분할(CSS)에서 새로운 클래스를 학습할 때 이전에 학습한 클래스의 지식을 빠르게 상실하는 치명적인 잊음을 해결하기 위해.
• 배경 전이라는 고유한 과제를 완화하기 위해, 배경 클래스가 점점 더 오래된 클래스와 미래의 클래스를 포함하게 되어 모델 학습을 왜곡하는 문제를 해결하기 위해.
• 전체 이미지 재생의 높은 저장 비용을 고려할 때, 픽셀 수준의 분할에 적합한 메모리 효율적인 재생 전략을 설계하기 위해.
• 코사인 정규화 및 수정된 배치 정규화와 같은 구조적 수정을 도입하여 연속 학습에서 장기 성능을 향상시키기 위해.
• 장기 일반화, 클래스 순서 민감도, 도메인 전이를 더 잘 평가하기 위해 새로운 평가 벤치마크를 제안하기 위해.

제안 방법

• 기존 모델과 신규 모델 버전 간의 특징 맵에서 장거리 및 단거리 공간적 관계를 유지하는 다중 척도 풀링 디스틸레이션 메커니즘인 로컬 POD를 도입한다.
• 배경 내에서 이전 클래스의 픽셀을 식별하고 복구하기 위해 엔트로피 기반 가짜 레이블링 손실을 설계한다. 이는 실제 배경과 이전에 학습된 클래스 간의 혼동을 줄인다.
• 분류기의 코사인 정규화와 수정된 배치 정규화를 도입한 PLOPLong이라는 PLOP의 향상된 버전을 제안하여, 작업 간 통계적 전이에 대한 강건성을 향상시킨다.
• 과거 데이터에서 분할된 오직 객체만 저장하고 재생하는 새로운 재생 방법인 오브제кт 리헤르설을 개발한다. 이는 전체 이미지 재생 대비 메모리 사용을 크게 줄인다.
• 가짜 레이블링과 재생 학습을 보완 전략으로 조합한다. 가짜 레이블링은 배경 내 클래스의 모호성을 다루고, 재생은 직접적인 경험 재생을 제공한다.
• 지식 디스틸레이션을 통해 특징 수준의 제약 조건을 적용하여 연속 학습 단계 간 모델 일관성을 유지하고, 유연성과 강성의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 기존 데이터셋 전체를 저장하지 않고도 연속적 의미 분할에서 치명적인 잊음을 효과적으로 완화할 수 있는가?
• RQ2 배경 클래스가 오래된 클래스와 미래의 클래스를 포함하게 되는 배경 전이 현상이 얼마나 심각한 잊음을 악화시키며, 이를 어떻게 수정할 수 있는가?
• RQ3 재생 학습이 의미 분할에 효과적으로 적용될 수 있는가? 어떤 형태의 재생이 성능을 유지하면서도 가장 메모리 효율적인가?
• RQ4 코사인 정규화 및 배치 정규화 수정과 같은 구조적 수정이 연속 학습 환경에서 장기 성능을 어떻게 향상시키는가?
• RQ5 연속적 의미 분할에서 장기 일반화와 강건성을 공정하게 평가하기 위해 어떤 새로운 벤치마크가 필요한가?

주요 결과

• PLOP는 모든 표준 CSS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 평균 교차율(mIoU) 측면에서 기존 방법들을 크게 앞서간다.
• PLOPLong와 오브제кт 리헤르설의 조합은 날카운 경계와 높은 정확도를 보이며, 모든 기준 모델 대비 거의 완벽한 분할 마스크를 생성한다. 특히 장기 시나리오에서 두드러진 성능 향상을 보였다.
• 오브제кт 리헤르설은 전체 이미지 재생 대비 메모리 사용을 최대 90%까지 줄였으며, 성능을 유지하거나 향상시켰다. 이는 실세계 적용에 유리하다.
• 엔트로피 기반 가짜 레이블링 손실은 기존 데이터에 존재하지 않는 경우에도 배경 내 이전 클래스의 픽셀을 효과적으로 복구하여 잊음 현상을 줄였다.
• 제거 실험을 통해 로컬 POD와 가짜 레이블링이 성능 향상에 기여하며, 두 요소의 조합이 가장 강력한 결과를 도출함을 확인했다.
• 제안된 벤치마크는 클래스 순서와 도메인 전이가 모델 성능에 강력한 영향을 미치며, PLOPLong와 오브제кт 리헤르설이 이러한 조건에서도 뛰어난 강건성을 보임을 드러냈다.