[논문 리뷰] RoIMix: Proposal-Fusion among Multiple Images for Underwater Object Detection

Weihong Lin, Jia-Xing Zhong외 3명|arXiv (Cornell University)|2019. 11. 08.

Advanced Neural Network Applications참고 문헌 28인용 수 16

한 줄 요약

RoIMix는 여러 장 underwater 이미지의 영역 제안을 융합하여 겹침, 가림, 흐림 상태의 객체를 시뮬레이션하는 새로운 제안 수준의 데이터 증강 방법을 제안한다. 이는 객체 검출 성능을 크게 향상시키며, URPC에서 1.18% mAP 향상과 Pascal VOC에서 0.8% 향상을 기록했고, 노이즈와 흐림에 대한 안정성과 강건성도 향상시킨다.

ABSTRACT

Generic object detection algorithms have proven their excellent performance in recent years. However, object detection on underwater datasets is still less explored. In contrast to generic datasets, underwater images usually have color shift and low contrast; sediment would cause blurring in underwater images. In addition, underwater creatures often appear closely to each other on images due to their living habits. To address these issues, our work investigates augmentation policies to simulate overlapping, occluded and blurred objects, and we construct a model capable of achieving better generalization. We propose an augmentation method called RoIMix, which characterizes interactions among images. Proposals extracted from different images are mixed together. Previous data augmentation methods operate on a single image while we apply RoIMix to multiple images to create enhanced samples as training data. Experiments show that our proposed method improves the performance of region-based object detectors on both Pascal VOC and URPC datasets.

연구 동기 및 목표

• 저조도와 sediment로 인한 겹침, 가림, 흐린 객체 검출 과제 해결
• 기본 증강 기법이 실패하는 복잡한 수중 환경에서 영역 기반 객체 검출기의 일반화 능력 향상
• 단일 이미지 증강의 한계를 극복하기 위해 상호 이미지 간 제안 수준 융합 도입
• 학습 및 추론 시 노이즈 또는 열악한 수중 이미지에 대해 모델의 안정성과 강건성 향상하는 방법 개발

제안 방법

• 이미지 수준의 혼합이 아닌, 여러 이미지 간 제안 수준 혼합을 수행하는 데이터 증강 기법인 RoIMix 제안
• 다양한 수중 이미지에서 영역 제안을 추출하고, 학습 가능한 혼합 계수 α에 따라 혼합하여 공간적 및 클래스 수준의 일관성 유지
• 혼합 작업을 제안 수준에서 수행하여 융합된 제안이 정확한 바운딩 박스 및 클래스 정보를 유지하도록 하여 이미지 수준 혼합에서 흔히 발생하는 정렬 오류 방지
• 다른 이미지의 제안을 가중치 조합하여 수중 환경에서 흔한 실제적인 가림 및 흐림 시나리오 시뮬레이션
• Faster R-CNN 및 그 변종의 학습 파이프라인에 RoIMix 통합하여 증강 샘플을 활용한 엔드 투 엔드 학습 가능
• 가까운 위험 최소화 원리(Vicinal Risk Minimization)를 활용하여 실제 수중 조건에 더 잘 일반화되는 다양한 실재성 있는 학습 샘플 생성

실험 결과

연구 질문

• RQ1 다양한 이미지 간 제안 수준 융합이 겹침, 가림, 흐린 수중 객체 검출 성능 향상에 기여하는가?
• RQ2 전통적인 단일 이미지 증강 기법과 비교해 복수 이미지 간 제안 혼합은 수중 데이터셋에서 모델의 일반화 능력에 어떻게 영향을 미치는가?
• RQ3 RoIMix는 수중 객체 검출에서 노이즈와 흐림에 대한 훈련 안정성과 강건성을 향상시키는가?
• RQ4 RoIMix는 일반적인(Pascal VOC) 및 도메인 특화된(URPC) 객체 검출 벤치마크에서 성능 향상에 어느 정도 영향을 미치는가?

주요 결과

• RoIMix는 URPC 데이터셋에서 기준 모델 대비 1.18% mAP 향상을 기록하며 뚜렷한 승리 기록
• Pascal VOC 데이터셋에서는 mAP가 0.8% 향상되어 일반적인 객체 검출 벤치마크에서도 효과가 있음을 입증
• 과적합 감소를 보였으며, 훈련 중 mAP 곡선이 더 안정적이며, URPC에서 기준 모델 대비 최대 2.04%의 여유 확보
• 인위적 노이즈에 대한 강건성이 향상되어 다섯 가지 노이즈 유형에서 기준 모델 대비 최대 mAP 격차 9.05% 감소
• 흐린 테스트 샘플에서 성능 향상으로, 가우시안 블러가 적용된 경우 기준 모델 대비 0.7% mAP 향상 달성
• RoIMix는 URPC 2019 오프라인 목표 인식 챌린지에서 1등을 차지하는 데 핵심 기여하여 실제 적용 가능성 검증