[論文レビュー] Student Surpasses Teacher: Imitation Attack for Black-Box NLP APIs

Qiongkai Xu, Xuanli He+3 more|arXiv (Cornell University)|Aug 29, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、教師なしドメイン適応とマルチ・ボケーションモデルアンサンブルを活用して、ブラックボックスNLP APIに対する画期的な模倣攻撃を提案する。この攻撃モデルは、移行ドメインにおいて元の被害者APIを上回る性能を達成する。本手法は、攻撃者が実世界の応用シナリオでブラックボックスモデルを上回ることを示しており、従来のモデル抽出限界に関する仮定に挑戦する。

ABSTRACT

Machine-learning-as-a-service (MLaaS) has attracted millions of users to their splendid large-scale models. Although published as black-box APIs, the valuable models behind these services are still vulnerable to imitation attacks. Recently, a series of works have demonstrated that attackers manage to steal or extract the victim models. Nonetheless, none of the previous stolen models can outperform the original black-box APIs. In this work, we conduct unsupervised domain adaptation and multi-victim ensemble to showing that attackers could potentially surpass victims, which is beyond previous understanding of model extraction. Extensive experiments on both benchmark datasets and real-world APIs validate that the imitators can succeed in outperforming the original black-box models on transferred domains. We consider our work as a milestone in the research of imitation attack, especially on NLP APIs, as the superior performance could influence the defense or even publishing strategy of API providers.

研究の動機と目的

• NLPAPIに対する模倣攻撃が、移行ドメインにおいて元のブラックボックスモデルを上回るモデルを生成できるかどうかを調査すること。
• 従来の攻撃が被害者と同一ドメインでのみ成功するという限界を解消すること。
• 複数の被害者APIからの予測を集約することで得られる性能向上の可能性を調査すること。
• 実世界の商業APIとドメインシフトを想定した現実的な条件下で、提案手法の有効性を評価すること。
• ハードラベル化やラベルノイズといった防御戦略が攻撃成功に与える影響を評価すること。

提案手法

• 攻撃は、ラベルなしのデータを用いてターゲットドメインで学生モデルを微調整するため、教師なしドメイン適応（UDA）を用いる。この際、被害者APIから得られる知識が転送される。
• 学生モデルは、ブラックボックスAPIへのクエリで得られるソフトラベル（ログ確信度）を用いて訓練され、高精度な模倣が可能になる。
• 複数の被害者APIをアンサンブルすることで、特に分布外設定における攻撃モデルのロバスト性と一般化性能が向上する。
• 適応過程において、ソースドメインとターゲットドメイン間の分布ギャップを最小化するためのドメインアライメント技術が適用される。
• 攻撃モデルは、敵対的ドメインアライメントと一貫性正則化を用いてエンドツーエンドで訓練され、ターゲットドメインにおける性能向上が図られる。
• 攻撃成功に与える影響を評価するために、被害者出力に対してハードラベル化やガウスノイズ摂動を適用した防御戦略が評価される。

実験結果

リサーチクエスチョン

• RQ1 模倣攻撃が、移行ドメインにおいて元のブラックボックスNLPAPIを上回るモデルを生成できるか？
• RQ2 複数の被害者APIからの予測をアンサンブルすることで、個々の被害者を上回る攻撃モデルの性能が向上するか？
• RQ3 ハードラベル化やラベルノイズといった一般的な防御機構は、この新規な攻撃パラダイムに対してどの程度効果的か？
• RQ4 ソースドメインとターゲットドメイン間のドメインシフトが、模倣モデルの性能向上にどの程度影響を及えるか？
• RQ5 提案手法の攻撃は、実世界の商業NLPAPIを実用的状況で実際に上回ることができるか？

主な発見

• 攻撃モデルは、ターゲットドメインにおけるSST-2データセットで91.82%のテスト精度を達成し、個々の被害者モデル（例：89.40%および87.92%）および最高性能の被害者モデルを上回った。
• FSTデータセットでは、アンサンブル攻撃モデルが90.15%の精度を達成し、最高性能の被害者モデル（88.79%）を上回り、特に移行ドメインにおける顕著な改善を示した。
• 性能向上は、映画レビューから金融文書へのような遠いドメイン間で最も顕著であり、攻撃モデルが被害者モデルを著しく上回った。
• 被害者出力のハードラベル化は攻撃成功を低下させたが、攻撃モデルは依然として高い性能を示し、この防御は完全には効果的でないことが示された。
• 被害者出力にσ = 0.5のガウスノイズを適用した場合、攻撃性能は低下したが、被害者自身の有用性にも悪影響を及えた。これは、防御戦略におけるトレードオフを示唆している。
• 本攻撃は、センチメント分類および機械翻訳タスクの両方において、実世界の商業NLPAPIを実際に上回ることができ、実用的妥当性を示した。