[논문 리뷰] The Problem of Fragmented Occlusion in Object Detection

Julian Pegoraro, Roman Pflugfelder|arXiv (Cornell University)|2020. 04. 27.

Advanced Neural Network Applications참고 문헌 10인용 수 7

한 줄 요약

이 논문은 녹색 경계 감시 환경에서 흔한 부분적 가림 현상(분할된 가림)을 다루며, COCO 데이터셋에 인위적인 나무를 추가하여 잔디 가림을 시뮬레이션한다. 이 데이터로 훈련된 Mask R-CNN은 특히 경미한에서 중간 수준의 가림 상황에서 분할된 가림을 받는 사람의 검출 성능을 향상시키지만, 심한 가림 상황에서는 경계 상자 레이블링이 부적절함을 드러낸다.

ABSTRACT

Object detection in natural environments is still a very challenging task, even though deep learning has brought a tremendous improvement in performance over the last years. A fundamental problem of object detection based on deep learning is that neither the training data nor the suggested models are intended for the challenge of fragmented occlusion. Fragmented occlusion is much more challenging than ordinary partial occlusion and occurs frequently in natural environments such as forests. A motivating example of fragmented occlusion is object detection through foliage which is an essential requirement in green border surveillance. This paper presents an analysis of state-of-the-art detectors with imagery of green borders and proposes to train Mask R-CNN on new training data which captures explicitly the problem of fragmented occlusion. The results show clear improvements of Mask R-CNN with this new training strategy (also against other detectors) for data showing slight fragmented occlusion.

연구 동기 및 목표

• 분할된 가림 현상이 발생하는 객체 검출 문제, 특히 녹색 국경 감시 환경에서의 도전 과제를 조사한다.
• 최첨단 검출기가 분할된 가림 상황에서 실패하는 이유를 밝히며, 이는 부분적 가림과 본질적으로 다름을 확인한다.
• 실제 나뭇줄기와 가지를 사용해 생성한 인위적 나무를 COCO 이미지에 겹쳐 놓음으로써 분할된 가림을 명시적으로 모델링하는 데이터 증강 전략을 제안한다.
• IoU와 다중 검출의 한계를 보완하기 위해 새로운 평가 지표를 개발한다.
• 증강된 데이터로 미세조정된 Mask R-CNN이 분할된 가림을 받는 사람의 검출 성능을 향상시키며, 특히 낮은 수준에서 중간 수준의 가림 상황에서 뚜렷한 성능 향상을 보임을 입증한다.

제안 방법

• 세 개의 숲 영상에서 18,360帧을 추출하여 수작업으로 33,933개의 경계 상자를 네 가지 가림 수준에 따라 레이블링한 새로운 데이터셋을 구축했다.
• 특히 사람을 중심으로, 실제 줄기와 가지를 사용해 생성한 인위적 나무를 객체 앞에 겹쳐 COCO 데이터셋을 증강했다.
• COCO에서 제공하는 픽셀 수준의 세그먼테이션 마스크를 활용해 증강 과정 중 인스턴스 수준의 레이블 일관성을 유지함으로써 마스크 일관성을 확보했다.
• 백본으로 Inception v2를 사용한 Mask R-CNN을 증강된 데이터셋에 대해 훈련시켰으며, 인간 인스턴스에만 집중했다.
• 분할된 가림 상황에서 TP, FP, TN를 더 정확히 평가하기 위해, 실제 레이블 대비 최대 비중복 영역을 계산하는 새로운 평가 지표를 설계했다.
• 저 IoU 및 다중 검출 상황에서도 의미 있는 비교가 가능하도록, 새로운 지표 기반의 Recall-Precision (ROC) 곡선을 사용해 검출기 성능을 평가했다.

실험 결과

연구 질문

• RQ1 최첨단 객체 검출기는 분할된 가림 상황, 특히 녹색 국경 감시 환경에서 어떻게 작동하는가?
• RQ2 인위적 식생을 사용한 데이터 증강이 객체 검출기의 분할된 가림에 대한 내성 강화에 기여하는가?
• RQ3 표준 평가 지표인 IoU가 분할된 가림 상황에서 왜 실패하는가? 그리고 검출 성능을 더 잘 반영할 수 있는 대안적 평가 전략은 무엇인가?
• RQ4 높은 수준의 분할된 가림 상황에서 경계 상자 레이블링이 얼마나 유의미한가?
• RQ5 공간적 및 구조적 정보가 밀도 높은 잔디로 심하게 손상된 상황에서 현재 검출 모델의 한계는 무엇인가?

주요 결과

• 증강된 COCO 데이터셋으로 미세조정된 Mask R-CNN은 특히 L₁ 및 L₂ 수준의 가림 상황에서 분할된 가림을 받는 사람 검출 성능에서 뚜렷한 향상을 보였다.
• 새로운 평가 지표는 IoU가 약 ≈0.2일지라도 부분적인 검출이 가능할 경우 진짜 양성(true positive)을 정확히 식별할 수 있었으며, 이는 기존 지표가 거짓 음성으로 분류하는 경우도 포함된다.
• 분할된 가림 상황에서는 동일한 사람에 대해 여러 번의 검출(예: 머리와 몸)이 흔히 발생하므로, 기존의 일대일 매칭 방식은 신뢰할 수 없다.
• 심한 가림 상황(L₃ 및 L₄)에서는 객체의 범위를 신뢰성 있게 정의할 수 없어 경계 상자 레이블링이 비현실적이 된다.
• 성능 향상에도 불구하고, 모든 검출기들이 중간(L₂) 및 심한(L₃) 가림 상황에서 여전히 어려움을 겪고 있어, 현재 모델들이 구조적 및 공간적 손상에 대해 충분한 불변성(invariance)을 갖추지 못하고 있음을 시사한다.
• 본 연구는 현재의 데이터 분포 및 레이블링 패러다임이 분할된 가림 현상을 충분히 모델링하지 못하고 있음을 드러내며, 새로운 표현 및 평가 프레임워크의 필요성을 제기한다.