[논문 리뷰] Deep Learning from Shallow Dives: Sonar Image Generation and Training for Underwater Object Detection

Sejin Lee, Byungjae Park외 1명|arXiv (Cornell University)|2018. 10. 18.

Underwater Acoustics Research참고 문헌 11인용 수 38

한 줄 요약

이 논문은 시뮬레이터에서 생성된 데이터를 바탕으로 실제 수중 소나 이미지와 유사한 이미지를 합성하는 스타일 전이 기반 방법을 제안한다. 이는 수중 목표물 탐지 모델의 효과적인 훈련을 가능하게 하며, 실제 해양 데이터로 훈련된 모델 수준의 성능을 달성함으로써 수중 소나 응용 분야에서의 데이터 부족 문제를 크게 완화한다.

ABSTRACT

Among underwater perceptual sensors, imaging sonar has been highlighted for its perceptual robustness underwater. The major challenge of imaging sonar, however, arises from the difficulty in defining visual features despite limited resolution and high noise levels. Recent developments in deep learning provide a powerful solution for computer-vision researches using optical images. Unfortunately, deep learning-based approaches are not well established for imaging sonars, mainly due to the scant data in the training phase. Unlike the abundant publically available terrestrial images, obtaining underwater images is often costly, and securing enough underwater images for training is not straightforward. To tackle this issue, this paper presents a solution to this field's lack of data by introducing a novel end-to-end image-synthesizing method in the training image preparation phase. The proposed method present image synthesizing scheme to the images captured by an underwater simulator. Our synthetic images are based on the sonar imaging models and noisy characteristics to represent the real data obtained from the sea. We validate the proposed scheme by training using a simulator and by testing the simulated images with real underwater sonar images obtained from a water tank and the sea.

연구 동기 및 목표

• 딥 러닝을 위한 제한된 실제 수중 소나 훈련 데이터 문제를 해결한다.
• 저해상도이자 노이즈가 많은 소나 이미지에서 시각적 특징을 정의하기 어려운 문제를 극복한다.
• 실제 세계의 소나 이미지 특성을 모방하는 시뮬레이션 기반 훈련 파이프라인을 개발한다.
• 수족관 및 해양 시험에서 확보한 실제 테스트 데이터를 사용하여 합성 데이터 접근법을 검증한다.
• 다양한 소나 센서와 환경 조건 간의 일반화 능력을 입증한다.

제안 방법

• 수중 목표물의 현실적인 깊이 맵을 갖춘 3D 시뮬레이터를 사용해 합성 소나 이미지를 생성한다.
• 실제 소나 이미지에서 유도된 시각적 특징(예: 노이즈 패턴, 밝기, 대비)을 시뮬레이션된 이미지에 스타일 전이 기법을 적용해 전이한다.
• 실제 수족관 및 해양 시험에서 확보한 실제 소나 이미지를 스타일 기반 참조 이미지로 사용하여 실제 환경의 외관을 재현한다.
• 합성 데이터에 스타일 전이를 적용한 후, 객체 탐지용 컨volutional 신경망(CNN)을 엔드 투 엔드로 훈련시킨다.
• 기준 비교를 위해 2017년도 실재 데이터(SEA2017)를 사용해 모델을 미세조정한다.
• 실제 수중 소나 이미지(2018년도, SEA2018)와 다양한 소나 센서를 대상으로 훈련된 모델을 테스트하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 시뮬레이터에서 생성된 합성 소나 이미지를 스타일 전이 기법으로 개선한 후, 딥 러닝 모델의 수중 목표물 탐지 훈련에 효과적으로 활용할 수 있는가?
• RQ2 스타일 전이된 합성 데이터로 훈련된 모델의 성능은 실제 해양 소나 데이터로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 제안된 방법은 다양한 소나 센서와 환경 조건(예: 다양한 거리, 퇄진 토양 종류 등) 간에도 일반화 가능한가?
• RQ4 합성 데이터로 훈련된 모델은 저 SNR(신호 대 잡음비) 조건이나 작은 목표물 크기와 같은 도전적인 조건에서도 강건한가?
• RQ5 비용이 많이 드는 실세계 데이터 수집을 줄일 수 있으며, 同시에 높은 탐지 정확도를 유지할 수 있는가?

주요 결과

• 스타일 전이된 합성 이미지로 훈련된 모델은 실제 해양 데이터로 훈련된 기준 모델과 유사한 객체 탐지 정확도를 달성했으며, 정밀도-재현율 곡선 역시 SEA2017 기준 모델과 거의 일치했다.
• 제안된 방법은 합성 데이터와 실제 데이터 간의 성능 격차를 줄였으며, 스타일 전이 기법이 실제 환경의 시각적 특징을 효과적으로 포착함을 입증했다.
• 실제 수족관 및 해양 환경의 소나 이미지에서 잠수부를 성공적으로 탐지했으며, 저 SNR 조건과 작은 목표물 크기 조건에서도 성능이 유지되었다.
• 특히 목표물이 센서에서 5미터 이내에 있을 경우, 목표물이 몇 픽셀 밖에 안 되는 경우에도 탐지 성능이 강건하게 유지되었다.
• 암석이나 해저와 같은 비목표물에 대해 잘못된 탐지가 발생하지 않아 배경 잡음에 대한 강건성과 뛰어난 일반화 능력을 보였다.
• 다양한 소나 센서(테일리디네 및 손어르티크)와 다양한 환경 조건(다양한 거리 및 퇴적물 종류 포함) 간에도 제안된 방법이 잘 일반화되었다.