[논문 리뷰] Region Rebalance for Long-Tailed Semantic Segmentation

Jiequan Cui, Yuhui Yuan외 5명|arXiv (Cornell University)|2022. 04. 05.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 장수분포(semantic segmentation)에서의 클래스 불균형 문제를 해결하기 위해, 관련성이 높은 픽셀들을 영역으로 묶고, 보조 학습 브랜치를 통해 영역 수준의 특징에 대해 재균형 처리된 분류기를 적용하는 새로운 방법인 Region Rebalance를 제안한다. 이 방법은 BEiT에서 ADE20K에 대해 +0.7% 향상된 mIoU를 기록하며, 픽셀 수준의 학습과 IoU 기반 평가 간의 불일치를 해결함으로써 다양한 아키텍처에서 일관된 mIoU 향상을 달성한다.

ABSTRACT

In this paper, we study the problem of class imbalance in semantic segmentation. We first investigate and identify the main challenges of addressing this issue through pixel rebalance. Then a simple and yet effective region rebalance scheme is derived based on our analysis. In our solution, pixel features belonging to the same class are grouped into region features, and a rebalanced region classifier is applied via an auxiliary region rebalance branch during training. To verify the flexibility and effectiveness of our method, we apply the region rebalance module into various semantic segmentation methods, such as Deeplabv3+, OCRNet, and Swin. Our strategy achieves consistent improvement on the challenging ADE20K and COCO-Stuff benchmark. In particular, with the proposed region rebalance scheme, state-of-the-art BEiT receives +0.7% gain in terms of mIoU on the ADE20K val set.

연구 동기 및 목표

• 장수분포 데이터 분포에서 희귀 클래스 성능이 열악해지는 클래스 불균형 문제를 해결한다.
• Cross-entropy 손실과 IoU 평가 지표 간의 불일치로 인해 픽셀 수준의 재균형 처리가 IoU 향상에 기여하지 못함을 규명한다.
• 픽셀 간 상관관계가 비독립적(i.i.d.)이 아니므로, 재균형 처리를 픽셀 수준에서 영역 수준으로 이동시켜 문제를 해결한다.
• 메인 세그멘테이션 네트워크를 수정하지 않고도 성능을 향상시킬 수 있는 융통성 있는 플러그인 모듈을 개발한다.
• ADE20K 및 COCO-Stuff164K와 같은 다양한 아키텍처와 벤치마크에서 일관된 성능 향상을 입증한다.

제안 방법

• 동일한 의미 클래스에 속한 픽셀 특징을 연결된 구성요소를 기반으로 공간 평균 풀링을 통해 영역 특징으로 묶는다.
• 학습 중 영역 수준의 특징에 대해 재균형 처리된 소프트맥스 손실을 적용하는 보조 영역 분류 브랜치를 도입한다.
• 메인 세그멘테이션 헤드는 픽셀 크로스엔트로피 손실로, 영역 브랜치는 재균형 소프트맥스 손실로 학습하며, 양쪽을 함께 최적화한다.
• 총 학습 목표에서 픽셀 손실과 영역 손실 항목을 조정하기 위해 하이퍼파rameter λ를 사용한다.
• 추론 단계에서는 영역 브랜치를 제거하여 원래의 세그멘테이션 네트워크를 그대로 유지한다.
• 영역 수준의 클래스 빈도는 픽셀 수준의 빈도보다 불균형 정도가 낮기 때문에, 더 효과적인 재균형 처리가 가능하다는 점을 활용한다.

실험 결과

연구 질문

• RQ1 장수분포 세그멘테이션에서 픽셀 수준의 재균형 처리가 픽셀 정확도 향상에는 기여하지만 왜 mIoU 향상에 실패하는가?
• RQ2 근접한 픽셀 간의 공간적 상관관계가 클래스 빈도 기반 픽셀 재균형 처리의 효과를 저해하는 방식은 무엇인가?
• RQ3 영역 수준의 분류가 장수분포 세그멘테이션에서 더 효과적이고 안정적인 신호를 제공할 수 있는가?
• RQ4 제안된 영역 재균형 방법은 다양한 아키텍처와 벤치마크로 일반화 가능한가?
• RQ5 표준 픽셀 크로스엔트로피 손실과 함께 영역 수준의 재균형 소프트맥스 손실을 조합했을 때 전체 세그멘테이션 성능에 미치는 영향은 무엇인가?

주요 결과

• BEiT에 적용했을 때 ADE20K 검증 세트에서 +0.7% mIoU 향상을 기록하며, 제출 당시 새로운 최고 성능(SOTA)을 달성했다.
• ADE20K에서 OCRNet, DeepLabv3+, Swin, BEiT에 대해 각각 +1.21%, +1.61%, +1.22%, +0.7%의 mIoU 향상을 기록했다.
• COCO-Stuff164K에서는 희귀 클래스에 대해 일관되게 IoU 향상을 기록했으며, 특히 ‘showers’ 클래스의 mIoU가 0에서 6.14로 상승했다.
• 제거 실험 결과, 영역 브랜치만으로도 COCO-Stuff164K에서 상당한 성능 향상이 있었으며, 이는 고불균형 환경에서 더 강력한 정규화 효과를 유도함을 시사한다.
• 하이퍼파rameter λ에 대해 매우 강인하며, 최적의 성능는 [0.1, 0.3] 범위에서 관찰되었고, Dice 손실을 단독으로 사용할 경우에도 효과를 유지한다.
• 픽셀 크로스엔트로피 손실과 영역 수준의 재균형 소프트맥스 손실을 조합했을 때 최고의 성능(45.02 mIoU)을 기록했으며, 단독으로 Dice 손실을 사용할 경우 성능이 급격히 1.14 mIoU로 떨어졌다.