[논문 리뷰] ALIFE: Adaptive Logit Regularizer and Feature Replay for Incremental Semantic Segmentation

Youngmin Oh, Donghyeon Baek외 1명|arXiv (Cornell University)|2022. 10. 13.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 유사한 범주 간 기억 상실을 완화하고 메모리 사용량을 줄이기 위해 적응형 로짓 정규화기(ALI)와 범주별 회전 행렬을 활용한 특징 재생 전략을 결합한 새로운 방법 ALIFE를 제안한다. ALIFE는 원본 이미지 재생을 사용하지 않으며, 정확도와 효율성의 균형을 효과적으로 유지함으로써 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We address the problem of incremental semantic segmentation (ISS) recognizing novel object/stuff categories continually without forgetting previous ones that have been learned. The catastrophic forgetting problem is particularly severe in ISS, since pixel-level ground-truth labels are available only for the novel categories at training time. To address the problem, regularization-based methods exploit probability calibration techniques to learn semantic information from unlabeled pixels. While such techniques are effective, there is still a lack of theoretical understanding of them. Replay-based methods propose to memorize a small set of images for previous categories. They achieve state-of-the-art performance at the cost of large memory footprint. We propose in this paper a novel ISS method, dubbed ALIFE, that provides a better compromise between accuracy and efficiency. To this end, we first show an in-depth analysis on the calibration techniques to better understand the effects on ISS. Based on this, we then introduce an adaptive logit regularizer (ALI) that enables our model to better learn new categories, while retaining knowledge for previous ones. We also present a feature replay scheme that memorizes features, instead of images directly, in order to reduce memory requirements significantly. Since a feature extractor is changed continually, memorized features should also be updated at every incremental stage. To handle this, we introduce category-specific rotation matrices updating the features for each category separately. We demonstrate the effectiveness of our approach with extensive experiments on standard ISS benchmarks, and show that our method achieves a better trade-off in terms of accuracy and efficiency.

연구 동기 및 목표

• 새로운 범주에 대해 훈련할 때 이전에 학습한 범주를 잊는 문제인 증분적 의미 분할(ISS)에서의 치명적 기억 상실을 해결한다.
• 기존 정규화 기반 방법을 개선하기 위해 CCE 및 CKD와 같은 확률 보정 기법의 깊이 있는 이론적 이해를 제공한다.
• 재생 기반 방법의 메모리 오버헤드를 줄이기 위해 원본 이미지 저장 방식을 범주별로 고려한 회전 행렬을 활용한 잠재 특징 재생으로 대체한다.
• 기존 및 새로운 범주에 대해 높은 정확도를 유지하면서 계산 및 저장 비용을 최소화하는 방법을 개발한다.

제안 방법

• 학습 중에 로짓 값을 동적으로 조정하여 새로운 범주에 대한 과적합을 줄이고 이전 범주의 분류 능력을 유지하는 적응형 로짓 정규화기(ALI)를 제안한다.
• CCE 및 CKD 항목의 기울기를 분석하여 한계를 밝혀내며, CCE는 예측 정확성과 관계없이 모든 이전 범주의 로짓을 무조건 증가시키며, CKD는 새로운 범주와 배경 범주 간의 구분을 흐리게 한다.
• 원본 이미지 대신 잠재 특징을 저장하고 업데이트하는 특징 재생 메커니즘을 도입하여 메모리 사용량을 크게 줄인다.
• 특징 추출기가 진화함에 따라 각 증분 단계에서 범주별로 고려한 회전 행렬을 카일리 변환을 통해 효율적으로 업데이트한다.
• 지식 정복(KD)을 선택적으로 적용—라벨이 지정된 영역 또는 전체 영역에 대해서만—비라벨 영역에 대한 중복된 KD를 방지하여 성능 저하를 막는다.
• ALI와 특징 재생을 종합적으로 통합한 엔드 투 엔드 훈련 체계를 구축하여 모델과 재생된 특징을 모두 증분적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 기존의 확률 보정 기법인 CCE 및 CKD가 증분적 의미 분할에서 성능에 기여하거나 방해하는 방식은 어떠한가?
• RQ2 새로운 범주를 학습하면서 이전 범주의 지식을 유지하는 데 더 효과적인 적응형 로짓 정규화기를 설계할 수 있는가?
• RQ3 원본 이미지 재생을 잠재 특징 재생으로 대체하면 성능 저하 없이 메모리 사용량을 줄일 수 있는가?
• RQ4 범주별로 고려한 회전 행렬이 증분 훈련 단계 간 특징 일관성을 효과적으로 유지할 수 있는가?
• RQ5 mIoU와 hIoU를 최대화하기 위해 손실 항목(CE, ALI, KD)의 최적 조합은 무엇인가?

주요 결과

• 제거 실험 결과, 단일 교차 엔트로피(CE) 손실만을 사용할 경우 ADE20K에서 mIoU가 14.19로 급격히 감소하여 치명적 기억 상실이 발생함을 확인했다.
• ALI만을 적용할 경우 PASCAL VOC 16-5(1)에서 mIoU가 62.50으로 향상되어, 기억 상실 완화에 효과적임을 입증했다.
• 라벨이 지정된 영역에 대해서만 지식 정복(KD)을 적용할 경우 최고의 성능(mIoU 71.31, hIoU 62.50)을 기록했으며, 비라벨 영역에 KD를 적용할 경우 성능 저하가 발생했다.
• ALI와 특징 재생(범주당 1,000개의 특징)을 함께 사용할 경우 PASCAL VOC 16-5(1)에서 hIoU 64.57을 달성하여 새로운 SOTA 기록을 수립했다.
• ALI와 허위 라벨링(All*)을 조합할 경우 기준 모델 대비 mIoU가 2.5 포인트 향상되어 클래스 불균형 문제 해결에 효과적임을 입증했다.
• ALIFE는 정확도-메모리 트레이드오프에서 뛰어난 성능을 보였으며, 이전의 재생 기반 방법보다 더 높은 mIoU와 hIoU를 달성하면서도 훨씬 적은 메모리 사용량을 기록했다.