[論文レビュー] Adversarial Attacks in Sound Event Classification

Vinod Subramanian, Emmanouil Benetos+3 more|arXiv (Cornell University)|Jul 4, 2019

Music and Audio Processing参考文献 28被引用数 6

ひとこと要約

本論文は、FSDKaggle2018データセット上で訓練された5つのディーブラーニングモデルを用いて、音声イベント分類における勾配ベースの手法による adversarial 攻撃を調査する。最小限の摂動で高い欺瞞信頼度を達成できる adversarial 例が、メルスペクトログ램および生音声モデルを含む多様なアーキテクチャにおいて生成可能であることが示され、最先端の音声分類システムにおける顕著なロバストネスの脆弱性が明らかになった。

ABSTRACT

Adversarial attacks refer to a set of methods that perturb the input to a classification model in order to fool the classifier. In this paper we apply different gradient based adversarial attack algorithms on five deep learning models trained for sound event classification. Four of the models use mel-spectrogram input and one model uses raw audio input. The models represent standard architectures such as convolutional, recurrent and dense networks. The dataset used for training is the Freesound dataset released for task 2 of the DCASE 2018 challenge and the models used are from participants of the challenge who open sourced their code. Our experiments show that adversarial attacks can be generated with high confidence and low perturbation. In addition, we show that the adversarial attacks are very effective across the different models.

研究の動機と目的

• 音声イベント分類におけるディーブラーニングモデルの adversarial 攻撃に対する脆弱性を評価すること。
• 多様なモデルアーキテクチャに適用した勾配ベースの adversarial 攻撃アルゴリズムの有効性を分析すること。
• 異なるモデルや入力表現間での adversarial 例の転送性を調査すること。
• adversarial 例の音響的説明可能性と、圧縮処理に対するロバストネスを評価すること。
• 実世界の音声分類アプリケーションにおけるセキュリティおよびロバストネスのリスクを強調すること。

提案手法

• Carlini & Wagner、L-BFGS、Deepfool、および Saliency Map の4つの勾配ベースの adversarial 攻撃アルゴリズムが、5つのディーブラーニングモデルに適用された。
• モデルには、メルスペクトログラムおよび生音声入力を用いた VGG13、CRNN、GCNN、および2つの DenseNet 変種が含まれる。
• adversarial 例は、入力摂動を最適化することで、最小限の歪みで誤分類を最大化するように生成された。
• 摂動は、知覚的不可視性を測定するために信号対雑音比（SNR）を用いて評価された。
• adversarial 例の転送性は、あるモデルからの攻撃を他のモデルに適用することでテストされた。
• スペクトログラムからの音声再構成には、 Griffiin-Lim アルゴリズムが使用され、音声レベルの摂動の妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの adversarial 攻撃は、最小限の摂動で音声イベント分類におけるディーブラーニングモデルを効果的に欺けるか？
• RQ2 adversarial 攻撃の成功率は、異なるモデルアーキテクチャや入力表現によってどのように変化するか？
• RQ3 異なるアーキテクチャや入力タイプのモデル間で、adversarial 例の転送性はどの程度高いか？
• RQ4 特定の adversarial 例が有効である理由について、音響的または知覚的説明が存在するか？
• RQ5 adversarial 例は一般的な音声圧縮技術に対してどの程度ロバストか？

主な発見

• Carlini & Wagner 攻撃は、ターゲット攻撃において最も高い成功率を示し、L-BFGS や Deepfool を上回った。
• adversarial 例は非常に低い摂動で生成可能であり、平均SNR値が高いため（例：Carlini & Wagner 攻撃における Cello の場合、60.8 dB）、知覚的にほとんど見えないことが示された。
• L-BFGS 攻撃は、Carlini & Wagner に比べて顕著に高い摂動を要し、ほとんどの場合平均SNRが55 dB未満であった。
• adversarial 例の転送性は限定的ではあるがゼロでなく、特に同じアーキテクチャを持つモデル間（例：DenseNet から DenseNet へ）で高い転送率が観察された。
• メルスペクトログラム入力を用いたモデルは、生音声モデルへの転送性が低く、入力表現が adversarial 転送性に影響を与えることが示唆された。
• 音声クラス間の音響的類似性と必要摂動強度との間に明確な相関は認められず、adversarial 例が音響的に説明可能でないことが示された。