[논문 리뷰] Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation

Zekang Zhang, Guangyu Gao외 3명|arXiv (Cornell University)|2022. 11. 13.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 비용이 적게 들지만 효과적인 기본 모델인 MicroSeg를 제안한다. 이는 지역적 물체성( regional objectness)을 통해 미리 보지 못한 클래스를 탐색하여, 재난적 기억 상실(catastrophic forgetting)과 배경 이동(background shift)을 완화한다. 이미지에서 세그먼테이션 제안을 생성하고, 높은 물체성의 배경 영역을 고려해 잠재적인 미리보지 않은 클래스(과거 또는 미래의 클래스)로 군집화하며, 대비 손실을 통해 재할당한다. 이로 인해 Pascal VOC와 ADE20K에서 최신 기술(SOTA) 성능을 달성했으며, 기준 모델 대비 mIoU가 13.8% 향상되었다.

ABSTRACT

Incremental or continual learning has been extensively studied for image classification tasks to alleviate catastrophic forgetting, a phenomenon that earlier learned knowledge is forgotten when learning new concepts. For class incremental semantic segmentation, such a phenomenon often becomes much worse due to the background shift, i.e., some concepts learned at previous stages are assigned to the background class at the current training stage, therefore, significantly reducing the performance of these old concepts. To address this issue, we propose a simple yet effective method in this paper, named Mining unseen Classes via Regional Objectness for Segmentation (MicroSeg). Our MicroSeg is based on the assumption that background regions with strong objectness possibly belong to those concepts in the historical or future stages. Therefore, to avoid forgetting old knowledge at the current training stage, our MicroSeg first splits the given image into hundreds of segment proposals with a proposal generator. Those segment proposals with strong objectness from the background are then clustered and assigned newly-defined labels during the optimization. In this way, the distribution characterizes of old concepts in the feature space could be better perceived, relieving the catastrophic forgetting caused by the background shift accordingly. Extensive experiments on Pascal VOC and ADE20K datasets show competitive results with state-of-the-art, well validating the effectiveness of the proposed MicroSeg.

연구 동기 및 목표

• 기존 클래스와 미래 클래스가 배경으로 잘못 분류되는 클래스 증분 세그먼테이션(CISS)에서 재난적 기억 상실과 배경 이동을 해결하기 위해.
• 높은 물체성 배경 영역에 나타나는 새로운 클래스를 식별하고 모델링하여 생애 주기 학습에서 모델의 안정성과 적응성(plasticity)을 향상시키기 위해.
• 미래 클래스에 대한 사전 지식이 필요로 하지 않고 다양한 새로운 카테고리에 일반화할 수 있는 단순하고 효과적인 기본 모델을 개발하기 위해.
• 대부분의 새로운 영역를 놓치는 경향이 있는 자극도구 감지(saliency detection)에 대한 의존도를 줄이기 위해, 포괄적인 커버리지를 확보하기 위해 고밀도 세그먼테이션 제안을 사용하기 위해.

제안 방법

• 제안 생성기(proposal generator)는 입력 이미지를 수백 개의 클래스 독립 세그먼테이션 제안으로 나누며, 각 제안은 강한 물체성( objectness)을 가진 영역을 강조한다.
• 배경에서 유도된 높은 물체성 제안들은 마이크로(Micro) 기법을 사용해 미리 보지 못한 클래스(과거 또는 미래의 클래스)로 군집화되고 재모델링된다.
• 제안 기반 마스크 분류 헤드는 각 제안에 현재 클래스와 새로운 클래스 레이블을 할당하며, 이로 인해 동시 최적화가 가능해진다.
• 다중 하위 클래스는 대비 손실을 통해 명시적으로 정의되고 군집화되어, 느슨한 미래 카테고리 내의 기능 다양성을 포착한다.
• 밀도 있는 예측 브랜치는 첫 번째 학습 단계에서만 사용되며, 기본 클래스의 특징 학습을 향상시키고 재모델링된 가짜 레이블의 신뢰도를 높인다.
• 모델은 현재 클래스와 재모델링된 새로운 클래스를 동시에 최적화하여 일반화 능력을 향상시키고 배경 이동을 줄인다.

실험 결과

연구 질문

• RQ1 클래스 증분 세그먼테이션에서 지역적 물체성을 활용해 새로운 클래스를 탐색하고 모델링할 수 있는가?
• RQ2 기존 클래스와 미래 클래스가 배경으로 잘못 분류되는 배경 이동을 효과적으로 완화할 수 있는가?
• RQ3 증분 학습 중에 다양한 새로운 카테고리를 포괄적으로 포착하기 위해 제안 기반 접근법이 자극도구 기반 방법보다 우월한가?
• RQ4 마이크로 기법이 점차 증가하는 학습 단계 수에 따라 장기적인 증분 학습에서 성능을 얼마나 향상시키는가?
• RQ5 복잡한 아키텍처 수정 없이도 단순하고 통합된 프레임워크가 최신 기술 성능을 달성할 수 있는가?

주요 결과

• MicroSeg는 VOC 15-1 벤치마크에서 기준 모델 대비 mIoU가 13.8% 향상되었으며, 기본 클래스에서는 80.1% mIoU, 신규 클래스에서는 36.8% mIoU를 기록했다.
• 제안된 마이크로 기법 자체만으로도 기준 모델 대비 mIoU가 9.9% 향상되어 배경 이동의 영향을 크게 줄였다.
• 제안 분류와 마이크로 기법의 조합이 가장 높은 성능을 내며, 안정성과 적응성 측면에서 상호 보완적인 이점을 입증했다.
• 모델은 하이퍼파라미터 설정에 대해 매우 강건하며, K(미래 클래스 수)와 τ(레이블 재모델링의 임계값)의 다양한 값에서도 성능 저하가 최소한이었다.
• MicroSeg-M는 기존의 최신 기술(SOTA) 방법들인 SSUL보다 모든 증분 단계에서 뛰어난 성능을 보였으며, 특히 기존 방법들이 심각한 성능 저하를 보이는 장기 시나리오에서 두각을 나타냈다.
• t=1 단계에서 밀도 있는 예측 브랜치를 사용함으로써 기본 클래스 학습이 향상되었고, 이는 재모델링된 가짜 레이블의 신뢰도를 높여 신규 클래스 성능을 향상시켰다.