[論文レビュー] Advancing underwater acoustic target recognition via adaptive data pruning and smoothness-inducing regularization

Yuan Xie, Tianyu Chen+1 more|arXiv (Cornell University)|Apr 24, 2023

Underwater Acoustics ResearchEarth and Planetary Sciences被引用数 3

ひとこと要約

本論文は、低リソース下の水中音響標的認識における二重降下現象と過学習を解消するため、適応的データプリーニングと滑らかさ誘導正則化フレームワークを提案する。クロスエントロピーに基づくスコアリングを用いて、類似度の高い船から放射されるノイズ成分をプリーニングし、合成ノイズサンプルを用いたKLダイバージェンスに基づく正則化を適用することで、Shipsearデータセット上で88.79%の精度を達成。これはSOTAを3.31%上回り、学習時間を最大65%短縮する。

ABSTRACT

Underwater acoustic recognition for ship-radiated signals has high practical application value due to the ability to recognize non-line-of-sight targets. However, due to the difficulty of data acquisition, the collected signals are scarce in quantity and mainly composed of mechanical periodic noise. According to the experiments, we observe that the repeatability of periodic signals leads to a double-descent phenomenon, which indicates a significant local bias toward repeated samples. To address this issue, we propose a strategy based on cross-entropy to prune excessively similar segments in training data. Furthermore, to compensate for the reduction of training data, we generate noisy samples and apply smoothness-inducing regularization based on KL divergence to mitigate overfitting. Experiments show that our proposed data pruning and regularization strategy can bring stable benefits and our framework significantly outperforms the state-of-the-art in low-resource scenarios.

研究の動機と目的

• 周期的・反復的な船から放射されるノイズが原因で生じる二重降下現象を解消すること。
• 低リソース環境下で、限られたかつ類似度の高い訓練データによるモデルの過学習を軽減すること。
• 高精度なデータ拡張に依存せずに、一般化性能を向上させる耐障害性の高いトレーニングパイプラインを構築すること。
• シンプルな特徴量と軽量なネットワークアーキテクチャを用いて、モデルの効率性と性能を向上させること。

提案手法

• トレーニング中に再帰的・動的にスコア付けされ、重複する類似信号セグメントが削除される、適応的クロスエントロピーに基づくプリーニング層を導入する。
• 初期トレーニング（最初のτ=10エポック後）に線形プリーニング層を適用し、モデルの信頼度と類似度に基づいてプリーニングスコアを計算する。
• クリーンな入力とノイズあり入力のモデル予測間のKLダイバージェンスを用いて滑らかさ誘導正則化を実装。ノイズはガウス白色ノイズから生成する。
• 正則化項を用いて意思決定境界の滑らかさを強制するが、ノイズありサンプルを損失計算に含めないことで、代表的でないデータへのバイアスを低減する。
• プリーニングと正則化を統合した一貫したトレーニングパイプラインを構築し、二重降下現象と過学習の両方を同時に緩和する。
• Melスペクトログ램とResNet18にマルチヘッドアテンションを組み合わせたバックボーンを採用し、標準的な音響特徴量と軽量モデルとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 クロスエントロピーに基づく適応的データプリーニングが、水中音響認識における周期的信号の繰り返しによって引き起こされる二重降下現象を効果的に軽減できるか？
• RQ2 KLダイバージェンスを用いた滑らかさ誘導正則化が、低リソース下の水中音響環境において従来のデータ拡張法を上回る性能を示せるか？
• RQ3 提案フレームワークは、最先端手法と比較して、認識精度とトレーニング効率の両面でどの程度向上を達成できるか？
• RQ4 プリーニングと正則化を適用した後、異なる標的クラスにおけるモデルの一般化性能はどのように変化するか？

主な発見

• 提案手法はShipsearデータセットで88.79%の認識精度を達成し、前回SOTA（85.48%）を3.31%上回った。
• DeepShipデータセットでは80.19%の精度に達し、中規模リソース環境下でも優れた性能を示した。
• データプリーニングにより、手動データ拡張を用いる場合、学習時間を最大65%短縮できた。
• 混同行列の結果、魚漁船や帆走船といった従来誤分類されがちなクラスの認識能力が、提案手法適用後、顕著に向上した。
• 正則化係数α = 2が最適な性能を示し、値が小さすぎたり大きすぎたりするとモデル精度が低下した。
• 滑らかさ誘導正則化は、GANベースや手動によるデータ拡張を常に上回り、特にシミュレーションと実データの乖離が顕著な複雑な海洋環境下で優れた性能を発揮した。