[論文レビュー] Adversarial Transferability in Wearable Sensor Systems

Ramesh Kumar Sah, Hassan Ghasemzadeh|arXiv (Cornell University)|Mar 17, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 5

ひとこと要約

本稿は、ウェアラブルセンサーシステムにおける敵対的転送性を調査し、モデル、被験者、センサーロケーション、データセットの間で強い非ターゲット転送性を示した。転送性は、ソースとターゲットのデータ分布が乖離すると急激に低下することが明らかになった。また、耐障害性の高いセンサーシステムの設計指針を提示した。

ABSTRACT

Machine learning is used for inference and decision making in wearable sensor systems. However, recent studies have found that machine learning algorithms are easily fooled by the addition of adversarial perturbations to their inputs. What is more interesting is that adversarial examples generated for one machine learning system is also effective against other systems. This property of adversarial examples is called transferability. In this work, we take the first stride in studying adversarial transferability in wearable sensor systems from the following perspectives: 1) transferability between machine learning systems, 2) transferability across subjects, 3) transferability across sensor body locations, and 4) transferability across datasets. We found strong untargeted transferability in most cases. Targeted attacks were less successful with success scores from $0\%$ to $80\%$. The transferability of adversarial examples depends on many factors such as the inclusion of data from all subjects, sensor body position, number of samples in the dataset, type of learning algorithm, and the distribution of source and target system dataset. The transferability of adversarial examples decreases sharply when the data distribution of the source and target system becomes more distinct. We also provide guidelines for the community for designing robust sensor systems.

研究の動機と目的

• ウェアラブルセンサーシステムにおける敵対的転送性の範囲とその要因を調査すること。
• 異なる機械学習モデル、被験者、センサーロケーション、データセット間での転送性を評価すること。
• 敵対的例が異なるシステム間で効果的に転送される条件を特定すること。
• 敵対的攻撃に対して耐性のあるウェアラブルセンサーシステムを設計するための実行可能な指針を提供すること。

提案手法

• UCI、MHEALTHなど複数のウェアラブルセンサーデータセットを用いて、5種類の敵対的攻撃手法を用いた実験を実施した。
• 異なるデータセットおよびアーキテクチャで訓練された機械学習モデル間での転送性を評価した。
• 異なる学習アルゴリズム、ハイパーパramータ、センサーモジュール配置を持つシステム間での転送性を測定した。
• 実世界のウェアラブルセンサーデータを用いて、被験者およびセンサーロケーションごとの転送性を評価した。
• データセットサイズ、データ分布の類似性、モデルアーキテクチャが敵対的転送成功率に与える影響を分析した。
• 攻撃者がターゲットシステムに限られたアクセスしか持たない現実の脅威モデルを想定し、オラクルベースの攻撃を用いた。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルセンサーシステムにおける異なる機械学習モデル間で、どの程度敵対的転送性が発生するか？
• RQ2 被験者およびセンサーロケーションごとに転送性はどのように変化するか？
• RQ3 データセットサイズと分布が、敵対的転送の成功率にどのように影響するか？
• RQ4 この文脈において、ターゲット攻撃と非ターゲット攻撃の性能差は何か？
• RQ5 ウェアラブルシステムにおける敵対的例の転送性に最も顕著に影響を与える要因は何か？

主な発見

• モデル、被験者、センサーロケーション、データセットのほとんどの組み合わせにおいて、強い非ターゲット転送性が観察された。
• ターゲット攻撃は効果がばらつき、成功率は0%から80%まで変動し、限られた有効性であった。
• ソースとターゲットシステムのデータ分布が著しく異なると、転送性が顕著に低下した。
• 大きなデータセット（例：UCIでは10,299件のサンプル）は高い転送性を示し、データ量が敵対的耐性を高める要因であると考えられた。
• 多様で包括的なデータセットで訓練されたモデルは、転送可能な敵対的攻撃に対してより高い耐性を示した。
• 本研究は、敵対的脆弱性が特定のモデルや構成に限定されるのではなく、ウェアラブルセンサーシステム全体に広がるシステム的問題であることを強調した。