[논문 리뷰] DEAL: Difficulty-aware Active Learning for Semantic Segmentation

Shuai Xie, Zunlei Feng외 4명|arXiv (Cornell University)|2020. 10. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 오차 마스크와 픽셀 단위 확률 주의 모듈을 사용하여 의미적 난이도를 모델링함으로써 정보성 샘플 선택을 향상시키는 난이도 인지 활동 학습 프레임워크인 DEAL을 제안한다. 할당 함수에 불확실성과 난이도를 모두 통합함으로써 DEAL은 특히 희미하거나 미세한 물체와 같은 어려운 의미 클래스에 대해 IoU를 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Active learning aims to address the paucity of labeled data by finding the most informative samples. However, when applying to semantic segmentation, existing methods ignore the segmentation difficulty of different semantic areas, which leads to poor performance on those hard semantic areas such as tiny or slender objects. To deal with this problem, we propose a semantic Difficulty-awarE Active Learning (DEAL) network composed of two branches: the common segmentation branch and the semantic difficulty branch. For the latter branch, with the supervision of segmentation error between the segmentation result and GT, a pixel-wise probability attention module is introduced to learn the semantic difficulty scores for different semantic areas. Finally, two acquisition functions are devised to select the most valuable samples with semantic difficulty. Competitive results on semantic segmentation benchmarks demonstrate that DEAL achieves state-of-the-art active learning performance and improves the performance of the hard semantic areas in particular.

연구 동기 및 목표

• 기존 활동 학습 방법이 의미적 난이도를 忽시하고 있으며, 특히 희미하거나 미세한 물체와 같은 어려운 클래스에서 성능이 열등하다는 한계를 해결하기 위해.
• 샘플 선택 과정에서 의미적 난이도를 명시적으로 모델링하고 활용하여 애너테이션 효율성을 향상시키는 프레임워크를 개발하기 위해.
• 할당 함수에 불확실성과 난이도 인지 기준을 융합하여 활동 학습 성능을 향상시키기 위해.
• 기존 분할 네트워크와의 호환성을 유지하면서 아키텍처의 대대적 개편 없이도 쉽게 통합 가능한 플러그 앤 플레이 솔루션을 제공하기 위해.

제안 방법

• 표준 의미적 분할을 위한 하나의 브랜치와 의미적 난이도 점수를 예측하기 위한 다른 하나의 브랜치를 갖는 이중 브랜치 네트워크 아키텍처를 제안한다.
• 의미적 난이도 브랜치는 지도 데이터와 예측 결과의 차이인 분할 오차 마스크를 이용해 난이도 점수 학습을 유도한다.
• 픽셀 단위 확률 주의 모듈(PAM)은 공간적으로 유사한 픽셀을 통합하여, 오분류 가능성과 관련된 보다 매끄럽고 클래스 인식 가능한 난이도 지도를 생성한다.
• 두 가지 할당 함수를 설계하였다: 불확실성과 난이도를 통합한 난이도 인지 불확실성 점수(DS), 그리고 난이도에만 기반한 난이도 인지 의미 엔트로피(DE).
• 오차 마스크는 지도 데이터와 예측 분할 결과를 픽셀 단위로 비교하여 생성되며, 난이도 학습을 위한 약한 지도로 기능한다.
• 이 프레임워크는 어떤 분할 백본과도 호환되며, 기존 모델에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 의미적 난이도를 모델링함으로써 의미적 분할에서 활동 학습 성능을 향상시킬 수 있는가, 특히 분할이 어려운 클래스에 대해?
• RQ2 추가 애너테이션 없이 분할 오차에서 의미적 난이도를 효과적으로 학습할 수 있는가?
• RQ3 불확실성과 난이도를 융합한 방법이 불확실성 중심 방법보다 더 나은 샘플 선택을 이끌 수 있는가?
• RQ4 제안된 주의 메커니즘이 난이도 지도의 품질과 일관성을 어떻게 향상시키는가?
• RQ5 난이도 인지 할당 함수가 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DEAL은 CamVid와 Cityscapes 벤치마크에서 모두 최신 기술 수준의 활동 학습 성능을 달성한다.
• 제안된 방법은 철거대, 신호등, 소형 물체와 같은 어려운 의미 클래스의 평균 IoU를 크게 향상시킨다.
• 확률 주의 모듈을 사용함으로써 더 매끄럽고 일관성 있는 난이도 지도를 생성하여 인간 애너테이션 단위와 더 잘 일치시킨다.
• 절단 실험 결과, 주의 모듈을 제거할 경우 노이즈가 많은 난이도 지도가 생성되고, 특히 클래스 분포 균형을 유지하는 데 성능이 떨어지는 것으로 확인되었다.
• 난이도 인지 할당 함수(DS 및 DE)는 특히 희귀하거나 어려운 클래스의 성능 격차를 줄이는 데 있어 표준 불확실성 기반 방법보다 뛰어난 성능을 보였다.
• 분할 백본이 열악한 경우에도 프레임워크는 강력한 성능을 유지하여 내구성과 일반화 능력을 입증하였다.