[論文レビュー] Flow-based Self-supervised Density Estimation for Anomalous Sound Detection

Kota Dohi, Takashi Endo+3 more|arXiv (Cornell University)|Mar 16, 2021

Anomaly Detection Techniques and Applications参考文献 20被引用数 5

ひとこと要約

本論文は、同じ種類の他の機械からの音声よりも、特定の機械の音声に対して高い尤度を割り当てるように訓練することで、正規化フロー（normalizing flow）モデルを改善する、異常音声検出のためのフローに基づく自己教師付き密度推定手法を提案する。DCASE 2020 Challenge Task2 データセットにおいて、Glowを用いる場合に平均でAUCを5.8%向上、MAFを用いる場合に4.6%向上させ、自己教師付き分類ベースのベースラインを上回り、より安定した性能を達成した。

ABSTRACT

To develop a machine sound monitoring system, a method for detecting anomalous sound is proposed. Exact likelihood estimation using Normalizing Flows is a promising technique for unsupervised anomaly detection, but it can fail at out-of-distribution detection since the likelihood is affected by the smoothness of the data. To improve the detection performance, we train the model to assign higher likelihood to target machine sounds and lower likelihood to sounds from other machines of the same machine type. We demonstrate that this enables the model to incorporate a self-supervised classification-based approach. Experiments conducted using the DCASE 2020 Challenge Task2 dataset showed that the proposed method improves the AUC by 4.6% on average when using Masked Autoregressive Flow (MAF) and by 5.8% when using Glow, which is a significant improvement over the previous method.

研究の動機と目的

• 機械音声モニタリングにおける自己教師付き分類ベースの異常検出の不安定性と性能低下を解消すること。
• 分布内および分布外のデータを用いた自己教師付き対照学習を組み合わせることで、正規化フローに基づく異常検出のロバスト性を向上させること。
• 教師なしおよび従来の自己教師付き手法よりも高い、かつより安定した異常検出性能を達成すること。
• 同じ種類の複数台の機械からの正常音声データのみを用いて、効果的な分布外検出を可能にすること。

提案手法

• 本手法は、正規化フロー（GlowおよびMAF）を用いて音声データの尤度をモデル化し、特定の機械のデータに対して尤度を最大化し、同じ種類の他の機械からの外れ値データに対しては尤度を最小化する、新しい損失関数を採用する。
• 損失関数は、負の対数尤度の重み付き和として定義される：L = (1/N_D) Σ NLL(x) - (1/N_OOD) Σ NLL(x) · I[NLL(x) < c]、ここでcは機械タイプごとに設定するしきい値ハイパーパrameterである。
• 異常ラベルが不要な状態で一般化性能を向上させるために、ターゲット機械と外れ値機械のIDの区別を補助タスクとして自己教師学習的に活用してモデルを訓練する。
• ハイパーパrameter cは、検証データを用いて機械タイプごとに調整され、MAFでは-800から-750の範囲、Glowでは5.53から5.75の範囲をとる。
• 正規化フローの正確な尤度推定を活用しつつ、機械間の構造的差異にさらに敏感になるようにする。
• 本手法は、DCASE 2020 Challenge Task2 データセットの6種類の機械タイプで評価され、VAE、VIDNN、自己教師付きMobileNetV2ベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照学習の目的関数は、音声ベースの機械モニタリングにおける正規化フローの異常検出性能を向上させることができるか？
• RQ2 特定の機械の音声に対して高い尤度を、同じ種類の他の機械に対しては低い尤度を割り当てることで、純粋な自己教師付き分類法よりも安定的かつ正確な検出が達成できるか？
• RQ3 本手法は、従来の自己教師付き手法が失敗した機械タイプに対しても、どのように性能を発揮するか？
• RQ4 性能向上は、ターゲットデータと外れ値データの構造的類似性に依存するか？

主な発見

• 提案手法は、DCASE 2020 Task2 データセットにおいて、Glowを用いる場合に教師なしベースライン比で平均でAUCを5.8%向上、MAFを用いる場合に4.6%向上させた。
• 提案損失（式5）を用いることで、Glowでは総合AUCが85.2%、MAFでは84.7%を達成し、自己教師付きMobileNetV2ベースライン（平均AUC 66.1%）を顕著に上回った。
• 最小AUCを示した機械IDでは、提案手法が87.8%（Glow aff. (5)）を達成したのに対し、MobileNetV2は55.7%、教師なしGlow aff.ベースラインは64.2%であった。
• 外れ値データが異なる機械タイプ（例：ポンプID 0に対してバルブやファンのデータ）から来ると、性能向上が見られなかったことから、構造的類似性が不可欠であることが示された。
• 本手法は全機械タイプで高い性能を維持し、同じタイプの外れ値データを用いた場合、最小AUCはポンプID 0で70.0%であったのに対し、自己教師付きベースラインでは52.9%であった。
• 式5の提案損失を用いたモデルは、Glowを用いて総合AUC85.0%を達成し、教師なしGlow aff.ベースライン（79.4%）および自己教師付きMobileNetV2（平均66.1%）を上回った。