[논문 리뷰] Reinforced active learning for image segmentation

Arantxa Casanova, Pedro O. Pinheiro외 2명|arXiv (Cornell University)|2020. 02. 16.

Machine Learning and Algorithms참고 문헌 51인용 수 24

한 줄 요약

이 논문은 도메인 특화 강화학습 기반의 활성 학습 방법을 제안하여, 전체 이미지가 아닌 정보가 많은 이미지 영역을 선택하여 레이블링하는 방식을 취한다. DQN 프레임워크를 수정하여 높은 불확실성과 낮은 빈도의 클래스를 우선순위로 삼음으로써, Cityscapes에서 기준선 대비 약 30% 적은 레이블링 데이터로도 성능을 향상시키며 희귀 클래스 성능 향상을 달성한다.

ABSTRACT

Learning-based approaches for semantic segmentation have two inherent challenges. First, acquiring pixel-wise labels is expensive and time-consuming. Second, realistic segmentation datasets are highly unbalanced: some categories are much more abundant than others, biasing the performance to the most represented ones. In this paper, we are interested in focusing human labelling effort on a small subset of a larger pool of data, minimizing this effort while maximizing performance of a segmentation model on a hold-out set. We present a new active learning strategy for semantic segmentation based on deep reinforcement learning (RL). An agent learns a policy to select a subset of small informative image regions -- opposed to entire images -- to be labeled, from a pool of unlabeled data. The region selection decision is made based on predictions and uncertainties of the segmentation model being trained. Our method proposes a new modification of the deep Q-network (DQN) formulation for active learning, adapting it to the large-scale nature of semantic segmentation problems. We test the proof of concept in CamVid and provide results in the large-scale dataset Cityscapes. On Cityscapes, our deep RL region-based DQN approach requires roughly 30% less additional labeled data than our most competitive baseline to reach the same performance. Moreover, we find that our method asks for more labels of under-represented categories compared to the baselines, improving their performance and helping to mitigate class imbalance.

연구 동기 및 목표

• 세분화 작업에서 픽셀 단위의 레이블링에 소요되는 높은 비용과 시간 문제를 해결하기 위해.
• 레이블링을 낮은 빈도의 클래스에 집중시켜 세분화 데이터셋의 클래스 불균형 문제를 완화하기 위해.
• 전체 이미지가 아닌 소규모 정보성 있는 이미지 영역을 선택하는 효율적인 활성 학습 전략을 개발하기 위해.
• 최소한의 레이블링 데이터로도 평균 교차율(mIoU)을 직접 최적화하여 모델 성능을 향상시키기 위해.
• 대규모 세분화 작업에 적합한, 수정된 DQN을 사용한 배치 모드 활성 학습 접근법을 설계하기 위해.

제안 방법

• 에이전트가 모델 예측과 불확실성에 기반해 레이블링을 위한 이미지 영역을 선택하는 방식으로 활성 학습을 마르코프 결정 과정(Markov decision process)으로 공식화한다.
• 대규모 세분화 작업을 위해 딥 Q 네트워크(DQN) 아키텍처를 수정하여 클래스 인식 상태와 액션 표현을 사용한다.
• 상태를 세분화 모델의 예측에서 유도된 이미지 영역의 특징 임베딩으로 정의하며, 이는 불확실성과 클래스 분포를 포괄한다.
• 선택된 영역의 레이블링 이후 검증 세트에서 mIoU 향상 정도에 기반한 보상 함수를 정의하여 세분화 성능을 직접 최적화한다.
• 에이전트가 한 번의 단계에서 다수의 영역을 선택하는 배치 모드 학습 전략을 구현하여 샘플 효율성을 높이고 학습 단계를 줄인다.
• 학습 안정성을 높이기 위해 우선순위 경험 재생과 타겟 네트워크를 사용하며, 표준 DQN 구성 요소를 영역 기반 활성 학습 환경에 적응시켰다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 세분화 작업에서 레이블링을 위한 가장 정보성 있는 이미지 영역을 효과적으로 학습하여 선택할 수 있는가?
• RQ2 전체 이미지 레이블링 기준선 대비, 영역 기반 활성 학습 접근법은 목표 mIoU를 달성하기 위해 필요한 레이블링 픽셀 수를 줄일 수 있는가?
• RQ3 RL 기반 방법은 자동으로 낮은 빈도의 클래스를 우선순위로 삼아 데이터 수집 과정에서 클래스 불균형 문제를 완화할 수 있는가?
• RQ4 제안된 방법의 성능은 다양한 예산 수준과 데이터셋에서 어떻게 스케일링되는가? 특히 Cityscapes와 같은 대규모 환경에서 어떻게 되는가?
• RQ5 배치 모드 DQN 기반 활성 학습 전략은 레이블링 반복 단계당 네트워크 업데이트 횟수를 줄이며도 높은 효율성과 성능를 유지할 수 있는가?

주요 결과

• Cityscapes 데이터셋에서 제안된 방법은 총 픽셀 수의 6%만 레이블링(20,000개 영역)하여 평균 IoU 64.5%를 달성했으며, 전체 레이블이 제공된 모델의 성능의 96%에 도달했다.
• 동일한 mIoU 성능를 달성하기 위해 다음으로 우수한 기준선(H)은 30% 더 많은 레이블링 데이터가 필요했으며, 이는 추가로 45장의 이미지에 해당한다. 이는 높은 데이터 효율성을 입증한다.
• 선택된 영역은 'person', 'bicycle', 'motorcycle'와 같은 낮은 빈도 클래스에서 더 높은 mIoU(63.32%)를 기록하여 H 기준선(62.29%) 대비 성능 향상을 보였다.
• 선택된 영역는 클래스 분포의 엔트로피가 더 높아 균형 잡힌 분포에 가까워졌으며, 이는 특히 희귀 클래스에 대해 균형 잡힌 레이블링이 이루어졌음을 시사한다.
• CamVid와 Cityscapes 양쪽 데이터셋에서 모든 예산 수준에서 모든 기준선을 초월하며 통계적으로 유의미한 mIoU 향상을 보였다. 특히 낮은 데이터 예산에서 두드러진 성능 향상이 관찰되었다.
• 전체 이미지 대비 소규모 영역 레이블링은 더 높은 성능과 낮은 분산을 보였으며, 이는 부록 E.2의 아블레이션 연구에서 확인되었다. 이는 더 정밀한 불확실성 추정 덕분이다.