[논문 리뷰] Fairness Continual Learning Approach to Semantic Scene Understanding in Open-World Environments

Thanh-Dat Truong, Hoang-Quan Nguyen외 2명|arXiv (Cornell University)|2023. 05. 25.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 정적 분류 분포의 영향을 고려하여 재현성 있는 지속적 학습 프레임워크 FairCL을 제안한다. 이는 원형 대비 클러스터링 손실과 조건부 구조적 일관성 정규화를 통해 치명적인 잊음과 배경 분포 변화 문제를 해결한다. FairCL은 ADE20K, Cityscapes, Pascal VOC 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 빈도가 높은 클래스에 대한 예측 편향을 최소화하여 불균형 클래스 분포에서의 공정성을 크게 향상시킨다.

ABSTRACT

Continual semantic segmentation aims to learn new classes while maintaining the information from the previous classes. Although prior studies have shown impressive progress in recent years, the fairness concern in the continual semantic segmentation needs to be better addressed. Meanwhile, fairness is one of the most vital factors in deploying the deep learning model, especially in human-related or safety applications. In this paper, we present a novel Fairness Continual Learning approach to the semantic segmentation problem. In particular, under the fairness objective, a new fairness continual learning framework is proposed based on class distributions. Then, a novel Prototypical Contrastive Clustering loss is proposed to address the significant challenges in continual learning, i.e., catastrophic forgetting and background shift. Our proposed loss has also been proven as a novel, generalized learning paradigm of knowledge distillation commonly used in continual learning. Moreover, the proposed Conditional Structural Consistency loss further regularized the structural constraint of the predicted segmentation. Our proposed approach has achieved State-of-the-Art performance on three standard scene understanding benchmarks, i.e., ADE20K, Cityscapes, and Pascal VOC, and promoted the fairness of the segmentation model.

연구 동기 및 목표

• 불균형 클래스 분포로 인한 지속적 세분화 분류에서의 공정성 문제를 해결하기 위해, 특히 빈번히 발생하거나 픽셀 수가 많은 클래스에 대한 편향을 줄이기 위해.
• 이전 데이터에 접근할 수 없는 지속적 학습 환경에서 치명적인 잊음과 배경 이동 문제를 완화하기 위해.
• 모델의 안정성과 공정성을 향상시키기 위해 증강된 지식 전이 파라다임을 개발하기 위해.
• 조건부 제약 메커니즘을 통해 구조적 일관성을 향상시키기 위해.
• 오픈 월드, 증분 학습 설정 하에서 표준 벤치마크에서 제안된 방법의 실증적 검증을 수행하기 위해.

제안 방법

• 클래스별 오차율에서 유도된 공정성 지표를 사용하여, 다양한 픽셀 분포를 가진 클래스 간의 편향 예측을 방지하기 위한 공정성 목적함수를 정의한다.
• 기존 클래스의 특징 표현을 유지하기 위해 새로운 원형 대비 클러스터링 손실을 도입한다. 이는 임의의 작업 간 프로토타입을 정렬함으로써 일반화된 지식 전이 방법으로 기능한다.
• 조건부 구조적 일관성 손실은 증분 학습 단계 동안 인접한 픽셀 간의 예측 일치를 장려함으로써 세분화 예측의 공간 일관성을 강화한다.
• 전체 학습 목표는 작업별 손실, 공정성 목적함수, 구조적 제약을 조합하여 정확도, 공정성, 안정성의 동시에 최적화한다.
• 프레임워크는 ResNet 및 트랜스포머 백본을 모두 사용하여 ADE20K, Cityscapes, Pascal VOC에서 50-50 및 100-10 증분 학습 프로토콜 하에서 평가된다.
• 데이터셋의 클래스 분포 통계를 사용하여 공정성 목적함수의 가중치를 동적으로 조정함으로써, 훈련 중 소수 클래스가 간과되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 불균형 클래스 분포 하에서 지속적 세분화 분류의 공정성은 어떻게 공식적으로 정의되고 측정될 수 있는가?
• RQ2 대비 클러스터링 기반 손실이 지속적 학습에서 세분화 분류의 치명적인 잊음과 배경 이동 문제를 어느 정도 완화할 수 있는가?
• RQ3 공정성 인식 목적함수는 오픈 월드, 증분 학습 환경에서 모델의 일반화 능력을 향상시키고 고빈도 클래스에 대한 편향을 줄일 수 있는가?
• RQ4 조건부 구조적 일관성 손실은 새로운 클래스와 이전 클래스 간의 공간 일관성과 예측 신뢰도를 유지하는 데 어떻게 기여하는가?
• RQ5 제안된 프레임워크는 여러 표준 벤치마크에서 동시에 최신 기술 수준 성능과 공정성 지표 향상을 달성하는가?

주요 결과

• ADE20K 100-50 벤치마크에서 FairCL은 SegFormer 백본을 사용해 최종 mIoU 35.15%를 기록했으며, 이는 이전 SOTA 방법(33.50%)을 초월한다.
• ADE20K 50-50 벤치마크에서 FairCL은 ResNet을 사용해 34.55% mIoU, SegFormer을 사용해 35.15% mIoU를 달성했으며, 이는 이전 SOTA인 33.50%를 초월한다.
• Cityscapes 11-5 작업에서 FairCL은 트랜스포머 백본을 사용해 67.85% mIoU를 기록했으며, 이는 이전 방법들을 초월한다.
• Pascal VOC 15-1 작업에서 FairCL은 SegFormer을 사용해 61.5% mIoU를 달성했으며, 이는 이전 SOTA인 59.4%를 초월한다.
• ADE20K에서 트랜스포머 백본을 사용할 경우, 조건부 구조적 일관성 손실은 초기 클래스의 mIoU를 43.35%에서 43.56%로, 신규 클래스의 mIoU를 23.50%에서 25.46%로 향상시켰다.
• 클래스 0–100과 101–150 간 IoU의 표준편차는 각각 19.03%에서 18.71%, 20.75%에서 19.99%로 감소하여 공정성 향상이 확인되었다.