[논문 리뷰] Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation

Zilong Huang, Wentian Hao외 5명|arXiv (Cornell University)|2021. 04. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 9

한 줄 요약

이 논문은 기존 학습 데이터가 제공되지 않을 때도 치명적인 잊힘을 방지하는 새로운 클래스 증분 세분화 프레임워크인 하프리얼 하프페키 드리븐(이하 HRHF)을 제안한다. 이 프레임워크는 이미지 수준의 레이블과 스케일 인식 어그리게이션 모듈을 사용해 랜덤 노이즈에서 추론된 분할 모델을 이용해 이전 클래스에 대한 합성 이미지를 생성하는 새로운 방법인 SegInversion을 도입한다. 이 모듈은 생성된 객체의 크기(픽셀 수)를 제어할 수 있다. 실재의 신규 클래스 데이터와 가짜의 이전 클래스 데이터를 드리븐 기반 학습 프로세스에 통합함으로써 HRHF는 치명적인 잊힘을 크게 줄이고, PASCAL VOC 2012 및 ADE20K에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Despite their success for semantic segmentation, convolutional neural networks are ill-equipped for incremental learning, \ie, adapting the original segmentation model as new classes are available but the initial training data is not retained. Actually, they are vulnerable to catastrophic forgetting problem. We try to address this issue by "inverting" the trained segmentation network to synthesize input images starting from random noise. To avoid setting detailed pixel-wise segmentation maps as the supervision manually, we propose the SegInversion to synthesize images using the image-level labels. To increase the diversity of synthetic images, the Scale-Aware Aggregation module is integrated into SegInversion for controlling the scale (the number of pixels) of synthetic objects. Along with real images of new classes, the synthesized images will be fed into the distillation-based framework to train the new segmentation model which retains the information about previously learned classes, whilst updating the current model to learn the new ones. The proposed method significantly outperforms other incremental learning methods and obtains state-of-the-art performance on the PASCAL VOC 2012 and ADE20K datasets. The code and models will be made publicly available.

연구 동기 및 목표

• 기존 학습 데이터가 제공되지 않을 때 증분 세분화 과정에서 치명적인 잊힘을 해결한다.
• 증분 학습 과정에서 이전 클래스의 샘플 부족 문제를 해결한다.
• 픽셀 수준의 감독 없이 사전에 학습된 세분화 모델로부터 다양한 조건부 합성 이미지를 생성하는 방법을 개발한다.
• 실재의 신규 클래스 데이터와 합성된 이전 클래스 데이터를 모두 활용해 오래된 모델의 지식을 새로운 모델로 효과적으로 전이하는 드리븐 프레임워크를 설계한다.
• 데이터 효율적으로 새로운 클래스를 학습하면서도 이전에 학습한 클래스의 일반화 능력과 유지 능력을 향상시킨다.

제안 방법

• 이미지 수준의 레이블을 감독으로 사용해 랜덤 노이즈에서 사전에 학습된 세분화 모델을 역으로 추론함으로써 조건부 합성 이미지를 생성하는 SegInversion을 제안한다.
• 생성된 객체의 크기(픽셀 수)를 제어할 수 있도록, 분할 특징을 분류 점수로 통합하는 스케일 인식 어그리게이션(SAA) 모듈을 도입한다.
• 이미지 합성 과정에서 SAA 모듈을 활용해 객체 크기를 동적으로 조정함으로써 생성된 가짜 데이터의 다양성을 높인다.
• 실재의 신규 클래스 이미지와 합성된 이전 클래스 이미지를 드리븐 기반 학습 과정에 통합한 하프리얼 하프페키 드리븐(HRHF) 프레임워크를 설계한다.
• 세분화 손실과 드리븐 손실을 모두 적용해, 새로운 클래스를 학습하는 동안 이전 클래스의 지식을 유지한다.
• 객체 크기를 제어하기 위해 집합 온도 r을 {0.5, 1, 5, 10, 20} 중에서 무작위로 샘플링하여 합성 데이터의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 학습된 세분화 모델에서 유도된 합성 데이터가 증분 세분화 과정에서 치명적인 잊힘을 효과적으로 완화할 수 있는가?
• RQ2 픽셀 수준의 애너테이션 없이도 다양한 조건부 합성 이미지를 이전 클래스에 대해 생성할 수 있는가?
• RQ3 드리븐 기반 증분 학습 프레임워크에서 실재 데이터와 합성 데이터 사이의 최적의 균형은 무엇인가?
• RQ4 학습 가능한 어그리게이션 메커니즘을 통해 생성된 객체의 크기를 제어하면 합성 데이터의 품질과 다양성이 향상되는가?
• RQ5 실재 데이터를 신규 클래스에, 합성 데이터를 이전 클래스에 사용하는 드리븐 프레임워크를 통합하면 기존 클래스와 신규 클래스 모두에서 성능 향상이 이루어지는가?

주요 결과

• HRHF는 PASCAL VOC 2012에서 다양한 증분 학습 설정 하에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• ADE20K의 100-50 설정에서 HRHF는 강력한 기준 모델인 MiB 대비 전체 성능을 1.2% 향상시켰다.
• ADE20K의 더 도전적인 100-10 설정에서 HRHF는 MiB 대비 성능을 4.3% 향상시켜 자료 부족 상황에서도 뛰어난 강건성을 입증했다.
• ADE20K의 3단계 50-50 설정에서 HRHF는 최고의 성능을 기록했으며, 기준 모델 대비 총 성능을 6.3% 향상시켰다.
• 절단 실험 결과, 드리븐 손실이 이전 클래스의 성능 향상에 크게 기여하며, 실재 데이터와 가짜 데이터의 비율이 1:1일 때 최적의 성능을 내는 것으로 확인되었다.
• SAA 모듈에서 r 값을 고정된 값이 아닌 무작위로 선택함으로써 성능 향상이 이루어졌으며, 이는 스케일 다양성이 합성 데이터의 일반화 능력을 향상시킨다는 것을 시사한다.