[論文レビュー] You Autocomplete Me: Poisoning Vulnerabilities in Neural Code Completion

Roei Schuster, Congzheng Song+2 more|arXiv (Cornell University)|Jan 1, 2021

Adversarial Robustness in Machine Learning被引用数 47

ひとこと要約

この論文は、公開コードリポジトリで訓練されたニューラルコードオートコンプリータが、データおよびモデル汚染攻撃に対して脆弱であることを示している。悪意あるコードを訓練データに挿入するか、モデルを微調整することで、攻撃者は提案をAESのECBモードやSSLv3のような不安全なパターンに操作することができる。標的攻撃では、特定のコードベースにおいてこうした不安全な提案が発生する可能性が著しく高まる。

ABSTRACT

Code autocompletion is an integral feature of modern code editors and IDEs. The latest generation of autocompleters uses neural language models, trained on public open-source code repositories, to suggest likely (not just statically feasible) completions given the current context. We demonstrate that neural code autocompleters are vulnerable to poisoning attacks. By adding a few specially-crafted files to the autocompleter's training corpus (data poisoning), or else by directly fine-tuning the autocompleter on these files (model poisoning), the attacker can influence its suggestions for attacker-chosen contexts. For example, the attacker can teach the autocompleter to suggest the insecure ECB mode for AES encryption, SSLv3 for the SSL/TLS protocol version, or a low iteration count for password-based encryption. Moreover, we show that these attacks can be targeted: an autocompleter poisoned by a targeted attack is much more likely to suggest the insecure completion for files from a specific repo or specific developer. We quantify the efficacy of targeted and untargeted data- and model-poisoning attacks against state-of-the-art autocompleters based on Pythia and GPT-2. We then evaluate existing defenses against poisoning attacks and show that they are largely ineffective.

研究の動機と目的

• ニューラルコードオートコンプリータが、コード提案を操作する汚染攻撃に対して脆弱であるかどうかを調査すること。
• 訓練データに悪意あるファイルを追加するデータ汚染と、悪意あるファイルで微調整することでモデルを汚染するモデル汚染の両方の実現可能性を評価すること。
• 特定のコードリポジトリや特定の開発者に対して不安全なパターンに偏向させる標的攻撃の有効性を評価すること。
• 既存の汚染攻撃に対する防御策の有効性を評価し、ニューラルコードオートコンプリータを保護する能力を検証すること。

提案手法

• 著者たちは、慎重に設計された悪意あるファイルを含む拡張されたコードリポジトリを用いて、PythiaおよびGPT-2に基づく最先端のコードオートコンプリータを訓練した。
• 特定のコードパターン（例：不安全なAESまたはSSLの使用）を含むファイルを訓練データに挿入することで、非標的および標的の両方の汚染攻撃を実施した。
• モデル汚染のため、予め訓練済みのオートコンプリータを少量の悪意あるファイルで微調整し、生成行動に影響を与えた。
• 攻撃の成功度を、特定のコードコンテキストに対する不安全な提案の頻度を測定することで評価した。
• さまざまな攻撃タイプ（非標的対標的）およびモデルバージョンごとの攻撃成功率を比較した。
• これらの汚染攻撃に対して既存の防御メカニズムを評価し、その耐性を検証した。

実験結果

リサーチクエスチョン

• RQ1 データ汚染を用いて、ニューラルコードオートコンプリータを不安全なコードパターンの提案に操作することは可能か？
• RQ2 標的汚染攻撃は、特定のコードベースや特定の開発者に対して不安全なパターンに偏向させるのにどの程度有効か？
• RQ3 既存の防御策は、ニューラルコードオートコンプリータに対する汚染攻撃をどの程度軽減できるか？
• RQ4 データ汚染とモデル汚染の両方の攻撃成功率を比較すると、オートコンプリータの行動にどの程度影響を与えるか？
• RQ5 高い攻撃成功率を達成するために必要な最小限の悪意あるファイルの数はどれくらいか？

主な発見

• わずか数個の悪意あるファイルを訓練コーパスに挿入するだけで、ニューラルコードオートコンプリータを効果的に汚染できる。
• 標的汚染攻撃は、特定のリポジトリや特定の開発者に対して不安全なコードパターン（例：ECBモード、SSLv3）を提案する可能性を著しく高める。
• 少量の入力で微調整によるモデル汚染が実施可能であり、微調整済みモデルの脆弱性を示している。
• 標的状況では、ECBモードやパスワードハッシュの反復回数が低いといった不安全なパターンの提案確率が90％を超える。
• 既存の汚染攻撃に対する防御策は、提案されたデータおよびモデル汚染技術に対してほとんど効果を示さない。
• データ汚染とモデル汚染の組み合わせは、実世界の開発環境におけるニューラルコードオートコンプリータのセキュリティに対して現実的でスケーラブルな脅威をもたらす。