[논문 리뷰] Semi-Supervised Classification and Segmentation on High Resolution Aerial Images

Sahil Khose, Abhiraj Tiwari외 1명|arXiv (Cornell University)|2021. 05. 16.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 FloodNet 데이터셋의 고해상도 항공 이미지에 대해 분류 및 세분화를 위한 준지도학습 접근법을 제안하며, 점진적 손실 가중치를 적용한 가짜 레이블링 기법을 사용한다. 398개의 레이블된 이미지와 함께 1,047개의 레이블이 없는 이미지를 활용함으로써 일반화 성능을 향상시키고, 지도학습 기반 모델 대비 0.19%의 MIoU 향상을 달성하여 낮은 레이블 수에서도 뛰어난 성능을 입증한다.

ABSTRACT

FloodNet is a high-resolution image dataset acquired by a small UAV platform, DJI Mavic Pro quadcopters, after Hurricane Harvey. The dataset presents a unique challenge of advancing the damage assessment process for post-disaster scenarios using unlabeled and limited labeled dataset. We propose a solution to address their classification and semantic segmentation challenge. We approach this problem by generating pseudo labels for both classification and segmentation during training and slowly incrementing the amount by which the pseudo label loss affects the final loss. Using this semi-supervised method of training helped us improve our baseline supervised loss by a huge margin for classification, allowing the model to generalize and perform better on the validation and test splits of the dataset. In this paper, we compare and contrast the various methods and models for image classification and semantic segmentation on the FloodNet dataset.

연구 동기 및 목표

• 재해 후 항공 이미지 분석에서 레이블이 부족하고 클래스 간 균형이 심각하게 깨진 문제를 해결한다.
• 준지도학습을 통해 고해상도 항공 이미지에 대한 분류 및 세분화 성능을 향상시킨다.
• FloodNet 데이터셋에 풍부하게 존재하는 레이블이 없는 데이터를 활용하여 지도학습 기반 모델을 초월하는 일반화 능력을 향상시킨다.
• 점진적 가짜 레이블링 및 손실 가중치 전략을 통해 모델 성능을 최적화한다.
• 준지도학습 환경에서 최신 아키텍처(ResNet, EfficientNet, UNet, PSPNet, DeepLabV3+)의 성능을 평가한다.

제안 방법

• 학습 중에 모델 예측 결과 중 신뢰도가 가장 높은 예측을 바탕으로 레이블이 없는 이미지에 대해 가짜 레이블을 생성한다.
• 학습 에포크 동안 손실 함수 내 가짜 레이블 손실의 影향력을 초기 값 α_i 에서 최종 값 α_f 로 점진적으로 증가시킨다.
• 경계 정확도 향상을 위해 이진 교차엔트로피(BCE) 손실과 딱지 손실을 가중 조합하여 세분화에 사용한다.
• 정규화, 무작위 자르기, 뒤집기, 회전, 스케일링, 밝기 대비 조정 등의 데이터 증강 기법을 적용하여 모델의 강건성을 향상시킨다.
• 분류 작업은 300×400으로, 세분화 작업은 512×512로 이미지를 축소하여 계산 효율성과 특징 유지 간의 균형을 확보한다.
• 초기에는 Adam 옵티마이저로 학습을 수행하고, 가짜 레이블이 도입된 이후에는 학습률 0.01로 SGD로 전환한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터를 가진 고해상도 항공 이미지에서 점진적 손실 가중치를 적용한 가짜 레이블링이 준지도학습 분류 성능을 크게 향상시킬 수 있는가?
• RQ2 가짜 레이블링을 통한 레이블이 없는 데이터 통합이 FloodNet 데이터셋에서 세분화 성능에 어떤 영향을 미치는가?
• RQ3 항공 이미지 세분화 작업에서 준지도학습 환경에서 UNet, PSPNet, DeepLabV3+ 중 어떤 딥러닝 아키텍처가 가장 우수한 성능를 보이는가?
• RQ4 데이터 증강 및 클래스 균형 샘플링 기법이 재해 후 이미지 분석에서 심각한 클래스 불균형 문제에 얼마나 효과적인가?
• RQ5 EfficientNet-B3와 같은 더 효율적인 백본을 사용할 경우 준지도학습 세분화 과제에서 성능 향상이 이루어지는가?

주요 결과

• 준지도학습 접근법은 지도학습 기반 모델 대비 분류 성능을 크게 향상시켜 검증 및 테스트 세트에서 더 나은 일반화 능력을 확보했다.
• 가장 뛰어난 성능을 보인 세분화 모델은 EfficientNet-B3를 백본으로 사용한 DeepLabV3+로, 가짜 레이블 데이터를 활용할 경우 평균 교차율(MIoU)에서 0.19% 향상을 달성했다.
• 차량, 수영장 등 작은 객체는 모든 모델에서 가장 도전적인 요소로 나타나 세분화의 정밀도에 한계가 있음을 시사했다.
• BCE와 딱지 손실을 동일하게 가중한 조합이 가장 우수한 세분화 성능을 보였으며, 더 선명한 예측 결과를 생성했다.
• 가짜 레이블과 점진적 손실 가중치 전략을 도입함으로써 대규모 레이블이 없는 데이터를 효과적으로 처리하면서 일관된 성능 향상이 이루어졌다.
• 계산 자원 제약에도 불구하고 1:10 비율로 레이블이 없는 데이터를 랜덤 샘플링하더라도 측정 가능한 성능 향상이 있었으며, 전체 규모 활용 잠재력이 매우 높다는 것을 시사했다.