[論文レビュー] On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study

Zongjie Li, Chaozheng Wang+6 more|arXiv (Cornell University)|Mar 6, 2023

Software Engineering Research被引用数 6

ひとこと要約

本論文は、中規模のバックボーンモデルを用いた模倣攻撃を通じて、大規模言語モデル（LLMs）から特殊なコード生成能力——例えばコード合成や翻訳——を抽出する可能性を調査する。多様なクエリ戦略（ゼロショット、コンテキスト内、Chain-of-Thought）と応答検証を用いることで、著者らは、局所的に訓練されたモデルが、高い正確性でターゲットLLMのコード関連行動を効果的に再現できることを示した。これは、モデル抽出の実用的で現実的な脅威表面を明らかにしている。

ABSTRACT

Recent advances in large language models (LLMs) significantly boost their usage in software engineering. However, training a well-performing LLM demands a substantial workforce for data collection and annotation. Moreover, training datasets may be proprietary or partially open, and the process often requires a costly GPU cluster. The intellectual property value of commercial LLMs makes them attractive targets for imitation attacks, but creating an imitation model with comparable parameters still incurs high costs. This motivates us to explore a practical and novel direction: slicing commercial black-box LLMs using medium-sized backbone models. In this paper, we explore the feasibility of launching imitation attacks on LLMs to extract their specialized code abilities, such as"code synthesis" and "code translation." We systematically investigate the effectiveness of launching code ability extraction attacks under different code-related tasks with multiple query schemes, including zero-shot, in-context, and Chain-of-Thought. We also design response checks to refine the outputs, leading to an effective imitation training process. Our results show promising outcomes, demonstrating that with a reasonable number of queries, attackers can train a medium-sized backbone model to replicate specialized code behaviors similar to the target LLMs. We summarize our findings and insights to help researchers better understand the threats posed by imitation attacks, including revealing a practical attack surface for generating adversarial code examples against LLMs.

研究の動機と目的

• 商用LLMsの特殊なコード能力が、模倣攻撃によって抽出可能かどうかを調査すること。
• ゼロショット、コンテキスト内、Chain-of-Thoughtの異なるクエリ方式が、模倣の対象となるLLMの行動を引き出す効果を評価すること。
• 出力の品質を向上させるために、出力チェックを設計・適用し、模倣モデルの性能を向上させること。
• 抽出された能力の下流への影響——特に悪意ある例の生成——を評価すること。
• LLMsのセキュリティリスクについての洞察を提供し、ウォーターマーキングなどの緩和戦略を示唆すること。

提案手法

• ターゲットLLMからコード関連応答を引き出すために、ゼロショット、コンテキスト内、Chain-of-Thoughtプロンプティングを用いたクエリ生成フレームワークの設計。
• 出力のフィルタリングと精錬を実装し、模倣モデルの訓練データとしての品質を高める。
• 収集した応答に基づいて、中規模のバックボーンモデルを訓練し、ターゲットLLMのコード生成行動を模倣すること。
• コード合成、翻訳、補完タスクにおいて、CodeBLEUスコアとpass@kメトリクスを用いて模倣モデルの性能を評価すること。
• 抽出されたモデルを用いて悪意あるコード例を生成し、その実用的有用性を示すこと。
• ウォーターマーキングが、このような抽出攻撃に対する潜在的な緩和技術として果たす役割を検討すること。

実験結果

リサーチクエスチョン

• RQ1 中規模モデルは、クエリベースの模倣攻撃を通じて、商用LLMsの特殊なコード能力を効果的に模倣できるか？
• RQ2 ゼロショット、コンテキスト内、Chain-of-Thoughtの異なるプロンプティング戦略は、抽出されたコード能力の品質と移行性にどのように影響するか？
• RQ3 出力チェックは、模倣モデル出力の忠実度をどの程度向上させられるか？
• RQ4 抽出されたモデルは、悪意ある例生成などの下流タスクで効果的に使用できるか？
• RQ5 この攻撃表面は、モデルの知的財産保護にどのような意味を持つのか？

主な発見

• 適切な数のクエリを用いることで、模倣モデルはコード合成、翻訳、補完タスクにおいてターゲットLLMと同等の性能を達成した。
• Chain-of-Thoughtとコンテキスト内プロンプティング方式は、ゼロショットプロンプティングに比べて、抽出されたコードの品質と正しさを顕著に向上させた。
• 出力チェックは、低品質または誤った出力を効果的にフィルタリングし、訓練データの品質と最終的なモデル性能を向上させた。
• 抽出されたモデルは、悪意ある応用に適した悪意あるコード例を効果的に生成できた。
• 本研究は、ブラックボックスLLMsから特殊なコード能力を抽出する実用的でコスト効率の良い攻撃表面を明らかにした。
• ウォーターマーキングは、有望ではあるが、未だに活用が不十分な防御メカニズムであると特定され、LLMの展開におけるより強固なIP保護戦略の必要性が示唆された。