[논문 리뷰] MetaFusion: Controlled False-Negative Reduction of Minority Classes in Semantic Segmentation

Robin Chan, Matthias Rottmann외 3명|arXiv (Cornell University)|2019. 12. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 7

한 줄 요약

MetaFusion는 최대우도 결정규칙 예측과 불확실성 기반 임의의 양성 검출을 위한 경사부스트 트리 메타분류를 조합함으로써 소수 클래스의 참음성 감소를 줄이는 후처리 방법을 제안한다. Cityscapes 데이터셋에서 표준 결정규칙과 클래스 가중치 기반 기준선 대비 더 우수한 양성과 참음성 간의 트레이드오프를 달성한다.

ABSTRACT

In semantic segmentation datasets, classes of high importance are oftentimes underrepresented, e.g., humans in street scenes. Neural networks are usually trained to reduce the overall number of errors, attaching identical loss to errors of all kinds. However, this is not necessarily aligned with human intuition. For instance, an overlooked pedestrian seems more severe than an incorrectly detected one. One possible remedy is to deploy different decision rules by introducing class priors which assigns larger weight to underrepresented classes. While reducing the false-negatives of the underrepresented class, at the same time this leads to a considerable increase of false-positive indications. In this work, we combine decision rules with methods for false-positive detection. We therefore fuse false-negative detection with uncertainty based false-positive meta classification. We present proof-of-concept results for CIFAR-10, and prove the efficiency of our method for the semantic segmentation of street scenes on the Cityscapes dataset based on predicted instances of the 'human' class. In the latter we employ an advanced false-positive detection method using uncertainty measures aggregated over instances. We thereby achieve improved trade-offs between false-negative and false-positive samples of the underrepresented classes.

연구 동기 및 목표

• 소수 클래스, 특히 거리 풍경 데이터셋에서 '사람' 클래스의 높은 참음성 비율 문제를 해결한다. 이는 빠진 감지가 치명적인 결과를 초래할 수 있기 때문이다.
• 모든 오류를 동일하게 취급하는 표준 손실 함수의 한계를 극복한다. 이는 희귀하지만 중요한 객체를 놓칠 경우의 실제 세계에서의 심각성을 반영하지 못한다.
• 강력한 임계값 설정으로 인한 양성 증가를 최소화하면서도 소수 클래스의 높은 재현율을 유지하는 후처리 프레임워크를 개발한다.
• 불확실성 추정과 앙상블 메타분류를 통합하여 재학습 없이도 자동으로 임의의 양성을 식별하고 제거한다.
• 다양한 아키텍처(MobileNetV2, Xception65)와 작업(세그멘테이션, 이미지 분류)에 걸쳐 방법의 일반화 능력을 입증한다.

제안 방법

• 소수 클래스(예: '사람')의 감지 민감도를 높이기 위해 신뢰도 임계값을 낮추어 최대우도(ML) 결정규칙을 적용한다.
• 예측 신뢰도를 측정하기 위해 소프트맥스 확률, 엔트로피, 확률 마진 등의 세그먼트별 불확실성 지표를 계산한다.
• 개체 수준의 불확실성 특징을 기반으로 경사부스트 트리 분류기(GB)를 훈련시켜 ML 마스크 내 참양성과 임의의 양성을 구분한다.
• GB 모델의 출력을 사용해 ML 마스크 내 높은 불확실성 세그먼트를 식별하고, 이를 표준 베이즈 마스크의 예측으로 대체함으로써 양성을 감소시킨다.
• 공간적 이웃과 세그먼트 경계를 기반으로 불확실성 특징을 집계하여 모호하거나 노이즈가 많은 예측을 개선한다.
• 특징 중요도 분석을 통해 이웃 환경(예: 사람 주변에 자전거 존재)과 경계 불확실성이 임의의 양성 예측의 주요 예측자로 확인된다.

실험 결과

연구 질문

• RQ1 고재현율 결정규칙과 불확실성 기반의 양성 검출을 조합한 후처리 방법이 소수 클래스의 세그멘테이션에서 참음성을 크게 감소시킬 수 있는가?
• RQ2 제안된 MetaFusion 프레임워크는 표준 결정규칙(예: 베이즈)과 클래스 가중치 기반 손실 함수에 비해 양성과 참음성 간의 트레이드오프에서 어떻게 성능을 냈는가?
• RQ3 불확실성 기반의 메타분류는 자율주행 환경에서 중요한 소수 클래스인 '사람' 감지의 신뢰성 향상에 어느 정도 기여하는가?
• RQ4 이 방법은 세그멘테이션을 넘어 다른 비전 작업(예: 이미지 분류)으로도 일반화되는가?
• RQ5 인간 감지 작업에서 임의의 양성 예측을 예측하는 데 가장 예측력 있는 불확실성 및 공간적 맥락 특징는 무엇인가?

주요 결과

• MetaFusion는 '사람' 클래스에서 양성 비율을 크게 감소시키면서도 높은 재현율을 유지하여 표준 베이즈 규칙과 보간된 결정규칙을 모두 능가한다.
• Cityscapes 데이터셋에서 MetaFusion는 Bayes 마스크와 ML 마스크 간 격차가 클수록 클래스 가중치 기반의 어떤 대안보다도 양성과 참음성 간의 균형을 더 잘 달성한다.
• 경사부스트 트리 메타분류기는 효과적으로 임의의 양성을 식별하며, 이웃 특징(예: 자전거 존재)과 경계 불확실성이 임의의 양성 예측의 상위 예측자로 나타난다.
• 이 방법은 이미지 분류 작업으로도 일반화된다. CIFAR-10에 적용한 MetaFusion의 최소 버전에서도 유사한 성능 향상이 관찰되어 광범위한 적용 가능성을 보였다.
• ML 마스크에서 유도된 임의의 양성을 베이즈 예측으로 대체함으로써 전반적인 성능 손실는 미미한 편이지만, 치명적인 참음성을 크게 감소시킬 수 있었다.
• 특징 중요도 분석을 통해 세그먼트 경계의 불확실성과 이웃 클래스 맥락(예: 자전거 존재)이 임의의 양성 예측의 강력한 지표로 확인되었다.