[논문 리뷰] Reveal of Domain Effect: How Visual Restoration Contributes to Object Detection in Aquatic Scenes

Xingyu Chen, Yue Lu외 3명|arXiv (Cornell University)|2020. 03. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 27

한 줄 요약

이 논문은 필터링 기반(FRS) 및 GAN 기반(GAN-RS) 복원을 통해 유도된 품질 다원성 있는 데이터 도메인을 분석함으로써 수중 환경에서의 시각 복원이 객체 검출에 어떤 영향을 미치는지 조사한다. 복원은 도메인 내 검출 정확도 향상에 기여하지 않지만, 학습 데이터와 실제 세계의 장면 간 도메인 이탈을 크게 감소시켜 수중 환경에서의 강건한 온라인 로봇 인식에 필수적임을 밝혀낸다.

ABSTRACT

Underwater robotic perception usually requires visual restoration and object detection, both of which have been studied for many years. Meanwhile, data domain has a huge impact on modern data-driven leaning process. However, exactly indicating domain effect, the relation between restoration and detection remains unclear. In this paper, we generally investigate the relation of quality-diverse data domain to detection performance. In the meantime, we unveil how visual restoration contributes to object detection in real-world underwater scenes. According to our analysis, five key discoveries are reported: 1) Domain quality has an ignorable effect on within-domain convolutional representation and detection accuracy; 2) low-quality domain leads to higher generalization ability in cross-domain detection; 3) low-quality domain can hardly be well learned in a domain-mixed learning process; 4) degrading recall efficiency, restoration cannot improve within-domain detection accuracy; 5) visual restoration is beneficial to detection in the wild by reducing the domain shift between training data and real-world scenes. Finally, as an illustrative example, we successfully perform underwater object detection with an aquatic robot.

연구 동기 및 목표

• 저품질 및 고품질 수중 이미지의 데이터 도메인 품질이 객체 검출 성능에 미치는 영향를 이해하기 위해.
• FRS 및 GAN-RS를 통한 시각 복원이 실제 수중 로봇 인식 환경에서 객체 검출 성능 향상에 미치는 역할를 조사하기 위해.
• 특히 도메인 이탈과 모델 일반화 능력에 초점을 맞춰, 도메인 내 및 교차 도메인 검출 시나리오에서의 도메인 영향을 분석하기 위해.
• 수중 로봇을 활용한 실제 수중 객체 검출 환경에서 복원의 효과성을 평가하기 위해.
• 품질 다원성 있는 데이터 도메인 하에서 CNN 기반 검출기의 도메인 선택성과 리콜 효율성의 근본적 메커니즘을 밝혀내기 위해.

제안 방법

• URPC2018 데이터셋에 FRS(필터링 기반) 및 GAN-RS(생성적 적대 기반) 복원을 적용하여 품질 다원성 있는 데이터 도메인을 구축하였다.
• 원본(O), FRS 처리된(F), GAN-RS 처리된(G) 데이터 등 여러 도메인에서 단일 단계 객체 검출기(SSD, RetinaNet, RefineDet, DRN)를 훈련 및 평가하였다.
• 다양한 품질 수준 간 성능 차이를 분석하기 위해 도메인 내 및 교차 도메인 검출 평가를 수행하였다.
• 진산탄, 다롄의 자연 해저 조건에서 수중 로봇을 활용한 실제 온라인 객체 검출 실험을 수행하였다.
• 학습 도메인과 실제 세계 테스트 장면 간 색상 공간 분포 비교(Lab 공간)를 통해 도메인 이탈을 분석하였다.
• 검출 백본으로 DRN512-VGG16를 사용하였으며, O, F, G 도메인에서 훈련된 모델에 대해 실시간으로 복원 파이프라인을 적용한 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 저품질 대비 고품질 데이터 도메인의 품질이 수중 환경에서 도메인 내 객체 검출 정확도와 특징 표현에 어떤 영향을 미치는가?
• RQ2 수중 객체 검출에서 시각 복원이 교차 도메인 일반화 성능에 미치는 영향는 어떠한가?
• RQ3 한 번의 훈련 과정에서 저품질 도메인과 고품질 도메인을 혼합할 경우, 저품질 도메인을 효과적으로 학습할 수 있는가?
• RQ4 이미지 품질 향상에도 불구하고, 시각 복원이 도메인 내 검출 정확도 향상에 실패하는 이유는 무엇인가?
• RQ5 학습 데이터와 실제 세계 수중 장면 간 도메인 이탈을 얼마나 효과적으로 감소시키는가?

주요 결과

• 적절한 훈련 후, 도메인 품질은 도메인 내 합성곱 표현과 검출 정확도에 거의 영향을 미치지 않으며, 이는 고품질 이미지가 동일한 도메인 내에서 모델 성능 향상에 본질적으로 기여하지 않음을 시사한다.
• 저품질 도메인은 교차 도메인 검출에서 더 높은 일반화 능력을 보이며, 열악한 환경에서의 성능에 유리함을 시사한다.
• 한 번의 훈련 과정에서 고품질 도메인과 함께 저품질 도메인을 혼합할 경우, 저품질 도메인은 효과적으로 학습되지 않으며, 이는 CNN 기반 검출기에서 강한 도메인 선택성이 있음을 나타낸다.
• 시각 복원은 도메인 내 검출 정확도 향상에 기여하지 않으며, 이미지 품질 향상에도 불구하고 리콜 효율성을 떨어뜨리고 가짜 양성 결과를 증가시켜 '무위' 작업이 되는 경향이 있다.
• 실제 세계 수중 객체 검출에서 시각 복원은 도메인 이탈을 효과적으로 감소시켜 핵심적인 역할을 하며, Lab 색상 공간에서 GAN-RS 처리된 실시간 데이터와 G 도메인 간 높은 겹침을 통해 이를 입증하였다.
• 실제 로봇 실험에서 GAN-RS 처리된 데이터로 훈련된 모델(DRN512-VGG16-G)은 원본 또는 FRS 처리된 데이터로 훈련된 모델보다 유의미하게 높은 리콜과 정밀도를 확보하여, 도메인 이탈 완화에 복원 기술이 실질적인 이점을 제공한다는 것을 확인하였다.