[논문 리뷰] Importance of Self-Consistency in Active Learning for Semantic Segmentation

S. Alireza Golestaneh, Kris Kitani|arXiv (Cornell University)|2020. 08. 04.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 추론 중 등변 변환(특히 수평 뒤집기)을 통해 자기 일致성(self-consistency)을 활용하여 불확실성 추정을 향상시키는 활성 학습 방법인 EquAL을 제안한다. 원본 및 뒤집힌 예측 간 픽셀 단위의 일관성을 강제함으로써 과적합과 불확실성 편향을 감소시키며, CamVid와 Cityscapes에서 전체 데이터의 12%만으로도 전체 데이터 학습 성능의 약 96%를 달성한다.

ABSTRACT

We address the task of active learning in the context of semantic segmentation and show that self-consistency can be a powerful source of self-supervision to greatly improve the performance of a data-driven model with access to only a small amount of labeled data. Self-consistency uses the simple observation that the results of semantic segmentation for a specific image should not change under transformations like horizontal flipping (i.e., the results should only be flipped). In other words, the output of a model should be consistent under equivariant transformations. The self-supervisory signal of self-consistency is particularly helpful during active learning since the model is prone to overfitting when there is only a small amount of labeled training data. In our proposed active learning framework, we iteratively extract small image patches that need to be labeled, by selecting image patches that have high uncertainty (high entropy) under equivariant transformations. We enforce pixel-wise self-consistency between the outputs of segmentation network for each image and its transformation (horizontally flipped) to utilize the rich self-supervisory information and reduce the uncertainty of the network. In this way, we are able to find the image patches over which the current model struggles the most to classify. By iteratively training over these difficult image patches, our experiments show that our active learning approach reaches $\\sim96\\%$ of the top performance of a model trained on all data, by using only $12\\%$ of the total data on benchmark semantic segmentation datasets (e.g., CamVid and Cityscapes).

연구 동기 및 목표

• 딥 러닝 모델이 최적 성능을 내기 위해 대규모 레이블된 데이터셋이 필요한 데이터 효율성 문제를 해결한다.
• 소량의 레이블된 데이터만 존재할 때 활성 학습에서 과적합과 불확실성 편향을 완화한다.
• 등변 변환을 통한 자기지도 학습을 통합하여 샘플 선택의 강건성을 향상시킨다.
• 반복적인 활성 학습 루프 동안 모델 일반화 능력과 불확실성 추정 능력을 향상시킨다.
• 가장 정보량이 많은 불확실한 영역에 집중함으로써 최소한의 인간 레이블링 비용으로도 높은 성능을 유지하는 방법을 개발한다.

제안 방법

• 추론 중 각 입력 이미지에 대해 수평 뒤집기와 같은 등변 변환을 적용하여 변환된 이미지를 생성한다.
• 원본 및 뒤집힌 이미지의 모델 예측 결과의 엔트로피를 사용해 불확실성 점수를 계산한다.
• 원본 및 뒤집힌 이미지의 세그멘테이션 출력 간 픽셀 단위의 자기 일관성을 일관성 손실을 통해 강제한다.
• 원본 및 변환된 시각 모두에서 높은 불확실성(높은 엔트로피)을 보이는 이미지 패치를 인간 레이블링 대상으로 선정한다.
• 선택된 패치를 기반으로 반복적으로 모델을 재학습하며, 자기 일관성 손실을 활용해 일반화 능력을 향상시키고 예측 분산을 줄인다.
• 등변 일관성을 통해 불확실성을 측정하고 최소화하는 풀 기반 활성 학습 프레임워크에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 등변 변환에서 유도된 자기 일관성이 활성 학습에서 세그멘테이션의 불확실성 추정에 기여하는가?
• RQ2 원본 및 변환된 예측 간 픽셀 단위의 일관성을 강제할 경우 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 다양한 등변 변환(예: 회전, 뒤집기, 이동)이 활성 학습 성능에 미치는 영향은 무엇인가?
• RQ4 자기 일관성에서 유도된 자기지도 학습이 높은 성능를 달성하기 위해 필요한 레이블 샘플 수를 줄일 수 있는가?
• RQ5 제안된 방법이 mIoU 및 데이터 효율성 측면에서 표준 엔트로피 기반 활성 학습 기준보다 우수한가?

주요 결과

• 제안된 EquAL 방법은 CamVid와 Cityscapes에서 전체 데이터에 대해 학습된 모델의 약 96% 성능을 레이블 데이터의 12%만으로 달성한다.
• EquAL은 표준 엔트로피 기반 활성 학습보다 우수하며, 자기 일관성을 강제했을 때 다양한 클래스에서 mIoU가 2–9% 향상된다.
• 수평 뒤집기는 가장 효과적인 등변 변환으로, 회전, 수직 뒤집기 또는 이동보다 성능 향상이 뚜렷하다.
• 픽셀 단위의 자기 일관성 손실을 추가한 EquAL+(EquAL+)는 레이블 예산 12%에서 Cityscapes의 mIoU를 56.15에서 58.33으로 끌어올린다.
• 정성적 결과에서는 EquAL이 엔트로피 기반 기준 대비 어려운 클래스인 보도 및 지형을 더 잘 세그멘테이션한다.
• 절단 실험 결과, 현실적인 이미지 콘텐츠를 유지하는 변환(예: 수평 뒤집기)만 성능 향상에 기여하며, 수직 뒤집기나 회전과 같은 다른 변환은 성능을 떨어뜨린다.