[논문 리뷰] Attention Neural Network for Trash Detection on Water Channels

Mohbat Tharani, Abdul Wahab Amin외 2명|arXiv (Cornell University)|2020. 07. 09.

Water Quality Monitoring Technologies참고 문헌 20인용 수 13

한 줄 요약

이 논문은 도시 수로에서 떠 있는 소형, 기형, 부분 잠김 쓰레기를 탐지하기 위한 새로운 주의 신경망을 제안하며, 인스턴스 수준의 주석이 달린 공개 가능한 첫 번째 데이터셋을 소개한다. 방법은 객체 검출기 내에 로그 기반 주의 메커니즘을 통합하여 소형 객체 탐지 성능을 향상시켜, 특히 소형 객체에서 최신 기술 수준의 성능을 달성한다. RetinaNet+Attn를 사용할 경우 하드 테스트 세트에서 평균 정밀도 51.8%를 기록한다.

ABSTRACT

Rivers and canals flowing through cities are often used illegally for dumping the trash. This contaminates freshwater channels as well as causes blockage in sewerage resulting in urban flooding. When this contaminated water reaches agricultural fields, it results in degradation of soil and poses critical environmental as well as economic threats. The dumped trash is often found floating on the water surface. The trash could be disfigured, partially submerged, decomposed into smaller pieces, clumped together with other objects which obscure its shape and creates a challenging detection problem. This paper proposes a method for the detection of visible trash floating on the water surface of the canals in urban areas. We also provide a large dataset, first of its kind, trash in water channels that contains object-level annotations. A novel attention layer is proposed that improves the detection of smaller objects. Towards the end of this paper, we provide a detailed comparison of our method with state-of-the-art object detectors and show that our method significantly improves the detection of smaller objects. The dataset will be made publicly available.

연구 동기 및 목표

• 도시 수로에 불법적으로 폐기되는 쓰레기로 인한 심각한 환경적 위험과 도시 침수 위험을 해결하기 위해.
• 복잡한 실제 도시 운하 환경에서 떠 있는 쓰레기를 시각 기반으로 탐지하기 위한 시스템을 개발하기 위해.
• 수중 쓰레기 탐지에서 객체의 기형, 부분 잠김, 반사, 소형 객체 크기 등의 과제를 극복하기 위해.
• 도시 수로의 쓰레기를 위한 첫 번째 공개 가능한 대규모 인스턴스 주석 데이터셋을 제공하기 위해.
• 딥 러닝 객체 검출기 내에 새로운 주의 메커니즘을 도입하여 소형 객체 탐지 성능을 향상시키기 위해.

제안 방법

• 다양한 조명, 날씨, 시간대 조건에서 다섯 곳의 도시 운하에서 12,500장의 주석이 달린 이미지를 수집하여 새로운 벤치마크 데이터셋을 구성하였다.
• 소형 객체에 특히 유리한 특징 표현을 향상시키기 위해 결정적 영역에 집중하는 로그 기반 주의 레이어를 제안하였다.
• 검출 헤드 이전에 특징을 정제하기 위해 주의 레이어를 백본 네트워크(예: YOLO-v3의 Darknet-53)에 통합하였다.
• ImageNet/Pascal VOC 사전 학습 가중치를 사용한 전이 학습을 통해 모델을 훈련하고, 고정된 80-20 훈련-검증 분할로 평가하였다.
• 두 가지 테스트 세트(간단한 세트: 500장, 어려운 세트: 500장)에서 표준 지표인 평균 정밀도(AP)와 IoU를 사용하여 평가하였다. 시각적 복잡도가 다양하게 설정되어 있다.
• 공정한 비교를 위해 데이터 증강 및 표준 훈련 프로토콜을 적용하여, SSD, YOLO-v3, RetinaNet, PeleeNet 등의 최신 기술 수준의 검출기와의 비교를 확보하였다.

실험 결과

연구 질문

• RQ1 새로운 주의 메커니즘이 도시 수로에서 소형, 기형, 부분 잠김 쓰레기의 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 어려운 수면 쓰레기 탐지 환경에서 제안된 방법이 최신 기술 수준의 객체 검출기와 평균 정밀도와 IoU 측면에서 어떻게 비교되는가?
• RQ3 주의 메커니즘이 소형 객체에 비해 중형 및 대형 객체에 비해 탐지 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 데이터셋이 향후 도시 수질 오염 탐지 분야의 연구에서 더 나은 일반화 및 벤치마크 기능을 제공하는가?
• RQ5 주의 메커니즘이 수로 영상에서 반사, 그림자, 기포 등으로 인한 오분류를 줄일 수 있는가?

주요 결과

• 제안된 주의 메커니즘이 소형 객체 탐지 성능을 크게 향상시켜, 간단한 테스트 세트에서 소형 객체 AP를 RetinaNet의 5.0%에서 6.3%로 증가시켰다.
• RetinaNet에 주의 레이어를 통합한 모델이 하드 테스트 세트에서 전체적으로 가장 높은 AP 51.8%를 기록하여 모든 다른 모델을 앞섰다.
• YOLO-v3에 주의 레이어를 통합한 모델은 간단한 테스트 세트에서 48.1%의 AP를 기록하여, 기존 YOLO-v3(43.8%)와 SSD(24.1%)를 모두 초월했다.
• 하드 테스트 세트에서 주의 메커니즘이 향상된 모델들은 강력한 성능 유지를 보였으며, RetinaNet+Attn는 기존 RetinaNet 대비 2.9% 향상된 43.9%의 AP를 기록했다.
• 주의 메커니즘은 반사와 잔여물이 많은 혼잡한 환경에서 비주류 기반 모델 대비 소형 객체 탐지 성능을 최대 1.8%p 향상시켰다.
• YOLO-v3-Tiny는 모든 지표에서 열악한 성능을 보였으며(하드 세트에서 11.6% AP), 복잡한 환경에서 소형 객체 탐지에 경량 모델의 한계를 드러냈다.