[논문 리뷰] Research on Mosaic Image Data Enhancement for Overlapping Ship Targets

Guangmiao Zeng, Wanneng Yu외 2명|arXiv (Cornell University)|2021. 05. 11.

Advanced Neural Network Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 겹치는 상황에서 Yolov4-tiny 기반의 선박 탐지 성능을 향상시키기 위해 개선된 모자이크 데이터 증강 방법을 제안한다. 다양한 모자이크 비율을 활용한 훈련 데이터 구성 최적화를 통해, 가림된 선박에 대한 인식 정확도를 2.5% 향상시키고, 타깃 손실 시간을 17% 감소시키며, 추론 지연 시간을 증가시키지 않은 채 해상도에 대한 내성도를 27.01% 향상시킨다.

ABSTRACT

The problem of overlapping occlusion in target recognition has been a difficult research problem, and the situation of mutual occlusion of ship targets in narrow waters still exists. In this paper, an improved mosaic data enhancement method is proposed, which optimizes the reading method of the data set, strengthens the learning ability of the detection algorithm for local features, improves the recognition accuracy of overlapping targets while keeping the test speed unchanged, reduces the decay rate of recognition ability under different resolutions, and strengthens the robustness of the algorithm. The real test experiments prove that, relative to the original algorithm, the improved algorithm improves the recognition accuracy of overlapping targets by 2.5%, reduces the target loss time by 17%, and improves the recognition stability under different video resolutions by 27.01%.

연구 동기 및 목표

• 실시간, 차량 내 탐지 시스템을 활용해 좁은 수로에서 겹치는 선박 타깃 인식 과제를 해결한다.
• Yolov4-tiny 네트워크 구조를 변경하지 않은 채로 가림된 선박 타깃의 인식 정확도를 향상시킨다.
• 낮은 자원을 가진 환경에서도 높은 탐지 속도를 유지하면서, 이동식 해양 환경에서 다양한 비디오 해상도에 대한 내성도를 향상시킨다.
• 데이터 증강을 통해 해상도 열화 상황에서 타깃 손실 시간을 줄이고, 인식 안정성을 향상시킨다.
• 실제 해양 환경 테스트 시나리오에서 개선된 모자이크 방법의 효과성을 입증한다.

제안 방법

• 훈련 이미지에 대해 세 가지 별도된 비율 조합(1:0:0, 1:1:0, 2:2:1)을 적용한 수정된 모자이크 데이터 증강 전략을 제안한다.
• 다양한 모자이크 비율을 훈련 중에 통합하여 겹치는 타깃 구성의 다양성을 높이기 위해 데이터셋 읽기 프로세스를 최적화한다.
• 개선된 데이터를 활용해 Yolov4-tiny 모델을 훈련시켜 소형 이동 플랫폼에의 구현을 위한 경량성 유지한다.
• 자원 제약이 있는 시스템에서 실시간 추론 성능을 확보하기 위해 Yolov4-tiny 아키텍처를 기반 모델로 사용한다.
• 모의 데이터셋과 실제 해양 비디오 시퀀스를 모두 활용해 다양한 해상도에서의 성능을 검증하기 위해 평가를 수행한다.
• 프레임 수준의 분리 정확도 및 타깃 손실 시간과 같은 지표를 사용해 다양한 모자이크 전략 간의 인식 성능을 비교한다.

실험 결과

연구 질문

• RQ1 데이터 증강 중 모자이크 비율 조합을 다양화할 경우 겹치는 선박 타깃의 탐지 정확도에 어떤 영향을 미치는가?
• RQ2 개선된 모자이크 방법은 다양한 비디오 해상도에서 인식 안정성을 얼마나 향상시키는가?
• RQ3 개선된 방법은 겹치는 상황에서 타깃 손실 시간을 크게 줄이면서도 높은 탐지 속도를 유지할 수 있는가?
• RQ4 실제 해양 환경에서 개선된 모델은 원본 Yolov4-tiny 기준선 대비 어떻게 성능을 발휘하는가?
• RQ5 이러한 데이터 증강 전략은 가림된 선박을 구분하는 데 핵심적인 국소 특징을 학습하는 데 모델의 능력을 향상시키는가?

주요 결과

• 개선된 모자이크 방법은 원본 알고리즘 대비 겹치는 선박 타깃의 인식 정확도를 2.5% 향상시킨다.
• 실제 테스트에서 향상된 데이터 증강 접근법을 사용할 경우 타깃 손실 시간이 17% 감소한다.
• 다양한 비디오 해상도에서의 인식 안정성이 기준선 방법 대비 27.01% 향상된다.
• 원본 Yolov4-tiny 모델과 동일한 추론 속도를 유지하여 실시간 성능이 보장된다.
• 모든 테스트 해상도(1080p, 720p, 480p, 360p)에서 기준선 방법보다 뛰어난 성능을 보이며, 특히 해상도 열화가 심한 상황에서 두각을 나타낸다.
• 향상된 모자이크 데이터로 훈련된 Yolov4-tiny 모델은 타깃을 분리할 수 없는 프레임 비율이 가장 낮아, 뛰어난 내성도를 보인다.