[論文レビュー] Embedding Java Classes with code2vec: Improvements from Variable Obfuscation

Rhys Compton, Eibe Frank+2 more|Research Commons (University of Waikato)|Apr 6, 2020

Software Engineering Research参考文献 16被引用数 19

ひとこと要約

この論文では、トレーニング中に変数名を難読化することで、Javaクラスのcode2vec埋め込みを改善する手法を提案する。これにより、モデルは語彙的ヒントに依存するのではなく、コード構造に依存するようになる。さらに、卉単な集約手法を導入してクラスレベルの埋め込みを生成し、変数名の変化に強く、より意味論的に正確なモデルを実現した。これは、新しいソースコード分類ベンチマークデータセットで検証された。

ABSTRACT

Automatic source code analysis in key areas of software engineering, such as code security, can benefit from Machine Learning (ML). However, many standard ML approaches require a numeric representation of data and cannot be applied directly to source code. Thus, to enable ML, we need to embed source code into numeric feature vectors while maintaining the semantics of the code as much as possible. code2vec is a recently released embedding approach that uses the proxy task of method name prediction to map Java methods to feature vectors. However, experimentation with code2vec shows that it learns to rely on variable names for prediction, causing it to be easily fooled by typos or adversarial attacks. Moreover, it is only able to embed individual Java methods and cannot embed an entire collection of methods such as those present in a typical Java class, making it difficult to perform predictions at the class level (e.g., for the identification of malicious Java classes). Both shortcomings are addressed in the research presented in this paper. We investigate the effect of obfuscating variable names during the training of a code2vec model to force it to rely on the structure of the code rather than specific names and consider a simple approach to creating class-level embeddings by aggregating sets of method embeddings. Our results, obtained on a challenging new collection of source-code classification problems, indicate that obfuscating variable names produces an embedding model that is both impervious to variable naming and more accurately reflects code semantics. The datasets, models, and code are shared for further ML research on source code.

研究の動機と目的

• code2vecが変数名に依存するため、誤字や悪意ある攻撃に対して脆弱である問題に対処する。
• code2vecを個々のメソッドを超えて、マルウェア検出のようなタスクに適したクラスレベルのコード埋め込みへと拡張する。
• 変数名などの語彙的特徴への依存を減らすことで、コード埋め込みの意味論的正確性を向上させる。
• 集約されたメソッド表現を用いた実用的なクラスレベル埋め込みの生成手法を開発・評価する。
• 研究を促進するため、データセット、モデル、コードを公開する。

提案手法

• code2vecトレーニング中にJavaソースコードの変数名を難読化し、モデルが特定の識別子に基づくパターンを学習しないようにする。
• 難読化されたコード上でcode2vecモデルを学習させ、語彙的ヒントではなく構造的・文法的特徴を学習する。
• 単純なプーリング操作（例：平均値や最大値）を用いて個々のメソッド埋め込みを集約し、1つのベクトル表現としてJavaクラス全体を表現する。
• 得られたクラスレベル埋め込みを、悪意あるコードを特定するような下流分類タスクに活用する。
• 悪意ある攻撃や意味的に類似した変種を含む新しいソースコード分類ベンチマークデータセット上で性能を評価する。
• 再現可能性とソフトウェア工学における機械学習研究を促進するため、トレーニング済みモデル、データセット、コードを公開する。

実験結果

リサーチクエスチョン

• RQ1 code2vecトレーニング中に変数名を難読化することで、モデルの語彙的特徴（例：変数名）への依存が顕著に低下するか？
• RQ2 code2vecのメソッドレベル埋め込みを集約することで、有効なクラスレベル埋め込みを構築できるか？
• RQ3 難読化されたモデルの性能は、元のcode2vecモデルと比較して、悪意ある攻撃や意味的に類似したコード変種に対してどうなるか？
• RQ4 得られた埋め込みが、表面的な名前付けパターンではなく、真のコード意味論をどの程度反映しているか？
• RQ5 提案手法が、挑戦的なソースコードデータセットにおける分類精度を向上させられるか？

主な発見

• トレーニング中に変数名を難読化することで、モデルの語彙的特徴への依存が顕著に低下し、変数名の変化や悪意ある摂動に対しても頑健になる。
• 新しいソースコード分類タスクのベンチマークデータセットでの性能向上が裏付けられており、得られた埋め込みは意味論的により正確である。
• 単純なプーリング戦略（例：平均値や最大値）を用いたメソッド埋め込みの集約により、高レベルのコード解析に適した有効なクラスレベル表現が得られる。
• 難読化されたコードで学習したモデルは、標準的および悪意あるテストケースの両方で、元のcode2vecモデルを上回る性能を示した。
• 公開されたデータセット、モデル、コードは、ソフトウェア工学における機械学習研究のための貴重なリソースを提供する。