[논문 리뷰] WQT and DG-YOLO: towards domain generalization in underwater object detection

Hong Liu, Pinhao Song외 1명|arXiv (Cornell University)|2020. 04. 14.

Advanced Neural Network Applications참고 문헌 21인용 수 13

한 줄 요약

이 논문은 $WCT^{2}$를 사용하여 다양한 수중 수질 스타일을 합성하는 데이터 증강 방법 WQT와, 도메인 불변 모듈(DIM)과 불변 위험 최소화(IRM) 페널티를 결합한 YOLOv3 기반 도메인 일반화 객체 검출기 DG-YOLO를 제안한다. 이 방법은 최신 기술 수준의 도메인 일반화 성능을 달성하여, 기준 모델 대비 미사용 수질 도메인에서 mAP를 3.21% 향상시킨다.

ABSTRACT

A General Underwater Object Detector (GUOD) should perform well on most of underwater circumstances. However, with limited underwater dataset, conventional object detection methods suffer from domain shift severely. This paper aims to build a GUOD with small underwater dataset with limited types of water quality. First, we propose a data augmentation method Water Quality Transfer (WQT) to increase domain diversity of the original small dataset. Second, for mining the semantic information from data generated by WQT, DG-YOLO is proposed, which consists of three parts: YOLOv3, DIM and IRM penalty. Finally, experiments on original and synthetic URPC2019 dataset prove that WQT+DG-YOLO achieves promising performance of domain generalization in underwater object detection.

연구 동기 및 목표

• 제한적이고 비다양한 훈련 데이터로 인해 발생하는 수중 객체 검출의 도메인 이동 문제를 해결하기 위해.
• 데이터 증강과 불변 표현 학습을 통해 다양한 수중 수질 조건에서의 모델 일반화 성능 향상을 위해.
• 실시간으로 작동하고, 미사용 수중 환경에서도 효과적인 일반 목적의 수중 객체 검출기(GUOD)를 개발하기 위해.
• 실제 및 합성 수중 데이터셋에서 WQT와 DG-YOLO의 효과성을 검증하기 위해.
• 모델이 임의의 상관관계가 아닌 의미적 도메인 불변 특징을 학습하는 능력을 분석하기 위해.

제안 방법

• WQT는 URPC2019 데이터셋의 콘텐츠 이미지를 $WCT^{2}$를 사용해 일곱 가지 합성 수질 스타일로 전이하여 도메인 다양성을 증가시킨다.
• 이 방법은 여덟 개의 도메인 특화 데이터셋(type1–type8)을 생성하며, type8은 도메인 일반화 평가에만 사용된다.
• DG-YOLO는 수질 도메인 간 특징 학습이 불변이 되도록 유도하는 도메인 불변 모듈(DIM)을 YOLOv3에 통합한다.
• IRM 페널티는 모든 소스 도메인에서 불변 예측자 학습을 유도함으로써 도메인 간 위험을 최소화하도록 적용된다.
• 모델는 복합 손실 함수로 훈련되며, $L_{yolo} = L_{cls} + \lambda_{coord}L_{coord} + L_{obj} + \lambda_{noobj}L_{noobj} + \alpha L_d + \beta P_{IRM}$ 이다. 여기서 $L_d$는 도메인 분류 손실이고, $P_{IRM}$은 IRM 페널티이다.
• 모델 주의도를 해석하고, DG-YOLO가 임의의 상관관계가 아닌 의미적으로 관련된 특징을 학습하는지 검증하기 위해 SmoothGrad 시각화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 수질 스타일 전이를 통한 데이터 증강(WQT)이 소규모 수중 데이터셋의 도메인 다양성을 효과적으로 증가시킬 수 있는가?
• RQ2 도메인 불변 모듈(DIM)과 불변 위험 최소화(IRM) 페널티를 조합하면 수중 객체 검출의 도메인 일반화 성능을 향상시킬 수 있는가?
• RQ3 DG-YOLO는 미사용 수질 도메인(val_type8)에서 기준 모델 대비 어느 정도 뛰어난 성능을 보이는가?
• RQ4 DG-YOLO의 주의도 맵은 기준 모델 및 WQT 전용 모델과 비교해 어떤 방식으로 의미적 객체에 집중하는가?
• RQ5 WQT와 DG-YOLO의 성능 향상은 도메인 불변 특징 학습 때문인지, 아니면 임의의 상관관계 때문인가?

주요 결과

• WQT+DG-YOLO는 미사용 val_type8 도메인에서 33.77%의 mAP를 달성하여, WQT 전용 모델(30.55% mAP) 대비 3.21% 향상되었다.
• 절단 실험 결과, DIM과 IRM 페널티의 조합(즉, DG-YOLO)에서만 성능 향상이 뚜렷하게 나타났으며, 개별적으로 사용할 경우 성능 저하 또는 최소한의 향상에 그쳤다.
• SmoothGrad 시각화 결과, DG-YOLO는 실제로 객체(예: echinus)에 집중하는 반면, 기준 모델과 WQT 전용 모델은 관련 없는 영역이나 산산이 흩어진 주의도를 보이며, 이는 임의의 상관관계에 의존함을 시사한다.
• 성능 향상에도 불구하고, DG-YOLO는 본래의 도메인 대비 val_type8에서 성능이 열등하여, 극단적인 도메인 이동에 대한 도메인 일반화가 여전히 도전 과제임을 보여준다.
• 스타일 거리 행렬을 통해 type1–type7이 스타일 공간에서 균일하게 분포되어 있지 않고, type8는 상당히 다름을 확인하여 일반화의 어려움을 설명할 수 있다.
• WQT 전용 모델은 본래 도메인(예: ori)에서 높은 성능(58.56% mAP)을 달성하지만, 이는 일반화 능력이 아닌 도메인 특화된 임의의 상관관계 때문임을 보여준다.