[論文レビュー] Unveiling Memorization in Code Models

Zhou Yang, Zhipeng Zhao+5 more|arXiv (Cornell University)|Aug 19, 2023

Software Engineering Research参考文献 64被引用数 7

ひとこと要約

この論文は、大規模な事前学習済みコードモデルにおける記憶の最初の体系的実験的調査を実施し、わずか20,000の出力生成のみで40,125件を超える完全一致の記憶済みコードスニペットが得られることを明らかにした。モデルのサイズ、出力長、トレーニングデータの頻度が主な要因であると特定し、記憶済みコンテンツの3カテゴリー14サブカテゴリーの分類法を提案。重複するトレーニングデータの削除によって記憶が軽減され得ることを示し、その検出に有効な指標も提案した。

ABSTRACT

The availability of large-scale datasets, advanced architectures, and powerful computational resources have led to effective code models that automate diverse software engineering activities. The datasets usually consist of billions of lines of code from both open-source and private repositories. A code model memorizes and produces source code verbatim, which potentially contains vulnerabilities, sensitive information, or code with strict licenses, leading to potential security and privacy issues. This paper investigates an important problem: to what extent do code models memorize their training data? We conduct an empirical study to explore memorization in large pre-trained code models. Our study highlights that simply extracting 20,000 outputs (each having 512 tokens) from a code model can produce over 40,125 code snippets that are memorized from the training data. To provide a better understanding, we build a taxonomy of memorized contents with 3 categories and 14 subcategories. The results show that the prompts sent to the code models affect the distribution of memorized contents. We identify several key factors of memorization. Specifically, given the same architecture, larger models suffer more from memorization problems. A code model produces more memorization when it is allowed to generate longer outputs. We also find a strong positive correlation between the number of an output's occurrences in the training data and that in the generated outputs, which indicates that a potential way to reduce memorization is to remove duplicates in the training data. We then identify effective metrics that infer whether an output contains memorization accurately. We also make suggestions to deal with memorization.

研究の動機と目的

• 大規模な事前学習済みコードモデルにおける記憶の程度と性質を調査すること。特に、オープンソースおよびプライベートリポジトリからの大規模なコードベースを学習データとして使用していることから、その影響を検討すること。
• 機密性、ライセンス、脆弱性のあるコードを含む、記憶済みコンテンツの種類を特定・分類し、プライバシーおよびセキュリティリスクを評価すること。
• モデルサイズ、出力長、トレーニングデータ頻度などの記憶に影響を与える要因を分析すること。
• モデル出力に記憶済みコンテンツが含まれるかどうかを正確に検出するための有効な指標を開発すること。
• トレーニングおよびデプロイメント段階で記憶を軽減するための実用的かつ実行可能な提言を提供すること。

提案手法

• スタートトークンプロンプトを用いて、CodeParrotおよびCodeParrot-smallから20,000件のコード出力（1件あたり512トークン）を実験的に抽出する。
• 生成された出力とトレーニングデータとの間で正確な文字列照合を実施し、完全一致による記憶を同定する。
• コンテンツの種別と機密性に基づき、3つの主要カテゴリーと14のサブカテゴリーを持つ記憶済みコンテンツの分類法を構築する。
• トレーニングデータにおけるコードスニペットの頻度と、モデル出力におけるその頻度の相関関係を分析する。
• n-gramオーバーラップや埋め込み類似度などのさまざまな指標（例：n-gramオーバーラップ、埋め込み類似度）が、記憶済み出力を検出する有効性を評価する。
• GitHub Copilotなどの実稼働モデルを対象に事例研究を実施し、実世界における記憶リスクを評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習済みコードモデルは、トレーニングデータの完全一致をどの程度記憶しており、少数のモデル出力からどれだけの記憶済みスニペットを抽出できるのか？
• RQ2 どの種類のコンテンツが最も頻繁に記憶され、その機密性とリスクの観点から体系的に分類できるのか？
• RQ3 モデルサイズ、出力長、トレーニングデータ頻度は、記憶の可能性と量にどのように影響を与えるのか？
• RQ4 記憶済みコンテンツを含むモデル出力を正確に検出できる有効な指標を特定できるのか？
• RQ5 トレーニングおよびデプロイメント段階で、記憶を軽減するための実用的戦略は何か？

主な発見

• コードモデルからたった20,000件の出力（1件あたり512トークン）を抽出するだけで、トレーニングデータから40,125件を超える完全一致の記憶済みコードスニペットを抽出できる。
• トレーニングデータにおけるコードスニペットの頻度と、モデル出力におけるその頻度の間に強い正の相関が存在し、トレーニングデータの重複削除によって記憶が軽減され得ることが示唆される。
• アーキテクチャを一定に保った場合、より大きなモデルはより多くの記憶を示すため、モデルサイズが顕著な要因であることが判明した。
• 出力長が長いほど、記憶済みコンテンツの発生確率と量が増加するため、出力長が制御可能なリスク要因であることが強調された。
• 本研究では、3つの主要カテゴリー（機密情報、ライセンスコード、脆弱性のあるコード）の下に14のサブカテゴリーを特定し、多様なプライバシーおよびセキュリティリスクを浮き彫りにした。
• n-gramオーバーラップや埋め込みベースの類似度といった特定の指標が、記憶済み出力を検出する上で高い正確性を示し、実世界のシステムにおける実用的検出を可能にした。