[論文レビュー] On the Security Vulnerabilities of Text-to-SQL Models

Xutan Peng, Yipeng Zhang+2 more|arXiv (Cornell University)|Nov 28, 2022

Web Application Security Vulnerabilities被引用数 4

ひとこと要約

この論文は、商業的およびオープンソースのNLPシステムにおけるText-to-SQLモデルが、悪意ある自然言語入力を用いてSQLインジェクションやサービス拒否攻撃を引き起こす脆弱性を有することを示している。また、これらのモデルに対するバックドア攻撃が、性能の低下を伴わずに100％の成功率で悪意あるSQLを生成できることを示しており、実世界のAI導入において深刻なセキュリティリスクを示している。

ABSTRACT

Although it has been demonstrated that Natural Language Processing (NLP) algorithms are vulnerable to deliberate attacks, the question of whether such weaknesses can lead to software security threats is under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL systems that are commonly used to create natural language interfaces to databases. We showed that the Text-to-SQL modules within six commercial applications can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service attacks. This is the first demonstration that NLP models can be exploited as attack vectors in the wild. In addition, experiments using four open-source language models verified that straightforward backdoor attacks on Text-to-SQL systems achieve a 100% success rate without affecting their performance. The aim of this work is to draw the community's attention to potential software security issues associated with NLP algorithms and encourage exploration of methods to mitigate against them.

研究の動機と目的

• 実世界のアプリケーションにおけるText-to-SQLモデルが、データベースのセキュリティ侵害の攻撃ベクトルとして悪用可能かどうかを調査すること。
• 商業的およびオープンソースのText-to-SQLシステムに対するブラックボックス攻撃およびバックドア攻撃の実現可能性を評価すること。
• 展開済みのNLPシステムにおける脆弱性を検出する実用的なプロトコルを開発すること。
• 研究コミュニティにおける生産環境におけるNLPモデルのセキュリティリスクへの認識を高めること。
• NLPベースのデータベースインターフェースを安全に保つための緩和戦略および今後の研究方向性を提案すること。

提案手法

• 悪意ある自然言語プロンプトを用いて、6つの商業的Text-to-SQLアプリケーションに対してブラックボックス脆弱性テストを実施した。
• 訓練データに悪意あるペイロードを組み込み、BARTやT5を含むオープンソースモデルにバックドアを埋め込むように設計した。
• 汚染されたデータセットを用いて4つのオープンソース言語モデルを再訓練し、推論時のバックドアトリガーの有効性を評価した。
• 生産環境システムにおける手動および単一ホストのセキュリティテストを実施し、リスクを最小限に抑えつつ、攻撃の実行可能性を検証した。
• 協働的脆弱性報告（CVD）を用いて、関係者に報告を責任を持って行い、データのアクセスや変更が一切行われないようにした。
• 標準ベンチマークおよび未確認のスキーマ上でモデルのパフォーマンスを評価し、バックドアの一般化能力および隠れ特性を分析した。

実験結果

リサーチクエスチョン

• RQ1 実世界の商業的Text-to-SQLシステムは、自然言語入力を介して悪意あるSQLを生成するように操作可能か？
• RQ2 パフォーマンスや検出可能性に影響を与えることなく、バックドア攻撃をText-to-SQLモデルに埋め込むことができる範囲はどの程度か？
• RQ3 このような脆弱性が生産環境に与える実用的影響、特にデータ漏洩やサービス停止の観点から、どのような影響を及ぼすか？
• RQ4 他のNLPアプリケーションと比較して、Text-to-SQLシステムの文脈において、既存の攻撃戦略はどの程度有効か？
• RQ5 NLP駆動のデータベースインターフェースを保護するために、どのような防御メカニズムおよび自動検出ツールが必要か？

主な発見

• BAIDU-UNITやCHATGPTを含む6つの商業的Text-to-SQLアプリケーションが、悪意あるSQLの生成を引き起こす攻撃に成功し、潜在的なデータ漏洩やサービス拒否攻撃を引き起こした。
• 商業システムに対するブラックボックス攻撃は完全な攻撃に成功し、BAIDU-UNITの脆弱性はベンダーによって「極めて危険」と評価され、報奨金が支払われた。
• BARTやT5を含む4つのオープンソースモデルに対するバックドア攻撃は、推論時に悪意あるコード生成において100％の成功率を示したが、標準ベンチマークでのパフォーマンスに著しい低下は認められなかった。
• 汚染された訓練データにより、モデルは未確認のデータベーススキーマに対しても一般化可能でありながら、隠れ特性を保ったままだったため、供給チェーン上の深刻な攻撃表面を示している。
• 報告されたすべての脆弱性は、責任ある報告プロトコルに従って報告され、多くのベンダーが研究者の提言に従って修正を実施した。
• たとえ無関係または無害に見えるプロンプトであっても、悪意あるコードの生成を引き起こす可能性があることが判明し、LLMベースのコード生成における広範なリスクを示唆している。