[논문 리뷰] Advancing underwater acoustic target recognition via adaptive data pruning and smoothness-inducing regularization

Yuan Xie, Tianyu Chen외 1명|arXiv (Cornell University)|2023. 04. 24.

Underwater Acoustics ResearchEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 저자원 수중 음향 목표 인식에서 이중 내림현상(double-descent)과 과적합 문제를 해결하기 위해 적응형 데이터 프루닝 및 부드러움 유도 정규화 프레임워크를 제안한다. 교차 엔트로피 기반 점수화를 사용해 유사한 선박 방사 소음 세그먼트를 프루닝하고, 합성 노이즈 샘플을 활용한 KL 발산 기반 정규화를 적용함으로써, Shipsear 데이터셋에서 정확도를 88.79%로 향상시켰으며, 기존 SOTA보다 3.31% 향상되었고, 학습 시간은 최대 65% 감소시켰다.

ABSTRACT

Underwater acoustic recognition for ship-radiated signals has high practical application value due to the ability to recognize non-line-of-sight targets. However, due to the difficulty of data acquisition, the collected signals are scarce in quantity and mainly composed of mechanical periodic noise. According to the experiments, we observe that the repeatability of periodic signals leads to a double-descent phenomenon, which indicates a significant local bias toward repeated samples. To address this issue, we propose a strategy based on cross-entropy to prune excessively similar segments in training data. Furthermore, to compensate for the reduction of training data, we generate noisy samples and apply smoothness-inducing regularization based on KL divergence to mitigate overfitting. Experiments show that our proposed data pruning and regularization strategy can bring stable benefits and our framework significantly outperforms the state-of-the-art in low-resource scenarios.

연구 동기 및 목표

• 주기적이고 반복적인 선박 방사 소음으로 인해 발생하는 이중 내림현상(double-descent)을 해결한다.
• 저자원 환경에서 제한적이고 매우 유사한 학습 데이터로 인한 모델 과적합을 줄인다.
• 고해상도 데이터 증강에 의존하지 않고도 강건한 학습 파이프라인을 개발한다.
• 간단한 특징과 경량 네트워크 아키텍처를 활용해 모델의 효율성과 성능을 향상시킨다.

제안 방법

• 학습 중에 동적으로 점수를 매기고 중복된 유사한 신호 세그먼트를 제거하는 적응형 교차 엔트로피 기반 프루닝 레이어를 도입한다.
• 초기 학습(첫 τ=10 에포크 이후)에 선형 프루닝 레이어를 적용하여 모델의 신뢰도와 유사도 기반으로 프루닝 점수를 계산한다.
• 청정 입력과 노이즈가 있는 입력에 대한 모델 예측 간 KL 발산을 사용해 부드러움 유도 정규화를 구현하며, 노이즈는 가우시안 화이트 노이즈에서 생성한다.
• 정규화 항을 통해 손실 계산에 노이즈 샘플을 포함시키지 않음으로써 비대표적인 데이터에 대한 편향을 줄이고, 결정 경계의 부드러움을 강제한다.
• 프루닝과 정규화를 통합된 학습 파이프라인으로 조합하여 이중 내림현상과 과적합을 동시에 완화한다.
• 멜 스펙트로그램과 다중 헤드 어텐션을 갖춘 ResNet18을 백본으로 사용하여 표준 음향 특징과 경량 모델과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피 기반 적응형 데이터 프루닝이 주기적 신호 반복으로 인한 수중 음향 인식에서의 이중 내림현상을 효과적으로 줄일 수 있는가?
• RQ2 KL 발산을 활용한 부드러움 유도 정규화가 저자원 수중 음향 환경에서 전통적인 데이터 증강 기법보다 우수한 성능을 내는가?
• RQ3 기존 SOTA 방법과 비교해 제안된 프레임워크가 인식 정확도와 학습 효율성 측면에서 얼마나 향상되는가?
• RQ4 프루닝과 정규화 적용 후, 다양한 목표 클래스에 대한 모델의 일반화 성능은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 Shipsear 데이터셋에서 88.79%의 인식 정확도를 달성하여 이전 SOTA(85.48%)보다 3.31% 향상되었다.
• DeepShip 데이터셋에서는 80.19%의 정확도를 기록하여 중간 자원 환경에서도 뛰어난 성능을 보였다.
• 데이터 프루닝을 통해 수동 데이터 증강을 사용할 경우 학습 시간을 최대 65% 감소시켜 학습 효율성을 크게 향상시켰다.
• 혼동 행렬을 통해 기존에 잘못 분류되었던 클래스—예를 들어 어선과 증기선—의 인식 능력이 제안된 기법 적용 후에 크게 향상됨을 확인했다.
• 정규화 계수 α = 2가 최적의 성능을 내며, 너무 작은 값이나 너무 큰 값은 모델 정확도를 떨어뜨린다.
• 부드러움 유도 정규화는 특히 시뮬레이션과 실제 데이터 간의 편차가 큰 복잡한 해양 환경에서 GAN 기반 및 수동 증강 기법보다 일관되게 뛰어난 성능을 보였다.