[論文レビュー] Variable Name Recovery in Decompiled Binary Code using Constrained Masked Language Modeling

Pratyay Banerjee, Kuntal Kumar Pal+2 more|arXiv (Cornell University)|Mar 23, 2021

Software Engineering Research参考文献 51被引用数 5

ひとこと要約

この論文では、BERTとバイトペア符号化を用いた制約付きマスク言語モデル手法であるVarBERTを提案する。この手法は、逆アセンブルされたバイナリコードから意味的な変数名を回復することを目的としている。マスクされたトークンの数を正しく予測するためのヒューリスティックな後処理手順を導入することで、164,632個のバイナリから成る大規模データセット上で84.15%の正確一致精度を達成し、従来の最先端手法を著しく上回った。

ABSTRACT

Decompilation is the procedure of transforming binary programs into a high-level representation, such as source code, for human analysts to examine. While modern decompilers can reconstruct and recover much information that is discarded during compilation, inferring variable names is still extremely difficult. Inspired by recent advances in natural language processing, we propose a novel solution to infer variable names in decompiled code based on Masked Language Modeling, Byte-Pair Encoding, and neural architectures such as Transformers and BERT. Our solution takes extit{raw} decompiler output, the less semantically meaningful code, as input, and enriches it using our proposed extit{finetuning} technique, Constrained Masked Language Modeling. Using Constrained Masked Language Modeling introduces the challenge of predicting the number of masked tokens for the original variable name. We address this extit{count of token prediction} challenge with our post-processing algorithm. Compared to the state-of-the-art approaches, our trained VarBERT model is simpler and of much better performance. We evaluated our model on an existing large-scale data set with 164,632 binaries and showed that it can predict variable names identical to the ones present in the original source code up to 84.15\% of the time.

研究の動機と目的

• ストリップドバイナリのリバースエンジニアリングを妨げる、逆アセンブルされたバイナリコードにおける意味的な変数名を回復するという重要な課題に対処すること。
• 一般化性能が低く、計算コストが高く、性能が限られているなどの問題を抱える従来の手法（DEBIN や DIRE など）を改善すること。
• 自然言語処理分野の最新の進展、特にBERTとマスク言語モデルを活用して、低レベルコードにおける変数名回復を実現すること。
• 多様なバイナリプログラムにわたる良好な一般化性能を発揮する、より単純でデータ効率の良いモデルを構築すること。
• リバースエンジニアリングの際の変数名の手動リネーム作業を減らすために、意味的名前の推論を自動化すること。

提案手法

• 逆アセンブルコードにおける未知の変数名を表すマスクトークンを用いた、制約付きマスク言語モデルに基づくBERTモデルの微調整。
• 生の逆アセンブルCコードからコード固有の語彙を学習するために、バイトペア符号化を用いることで、低レベル構造のより良いトークン化を実現する。
• 各変数名の正しいマスクトークン数を予測するためのヒューリスティックベースの後処理アルゴリズムを導入し、マスク予測における主要な課題に対処する。
• GitHubのCプロジェクトから得た164,632個のx86-64バイナリから構成される大規模データセット上で、VarBERT-baseおよびVarBERT-smallの2つのバリアントを学習する。
• 変数の周囲の文法的・意味的文脈を捉えるために、変換器からの文脈表現を活用し、名前の予測精度を向上させる。
• 訓練済みデータおよび分布外のコードサンプルの両方に対して、正確一致精度と一般化指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 制約付きマスク言語モデルは、高い精度で逆アセンブルされたバイナリコードにおける変数名を効果的に回復できるか？
• RQ2 DEBIN や DIRE などの最先端ベースラインと比較して、提案手法の精度と一般化性能はどのように異なるか？
• RQ3 トレーニング時に見られなかった変数名、特に共有ライブラリからのものに対して、モデルはどの程度一般化するか？
• RQ4 複数トークンに分割された変数名に対してモデルはどのように動作するのか。主な失敗モードは何か？
• RQ5 より小さい、より効率の良いBERTモデルは、より大きな、より複雑なアーキテクチャに比べて同等または優れた性能を達成できるか？

主な発見

• VarBERT-smallモデルはDIREデータセット上で84.15%の正確一致精度を達成し、従来の最先端モデルを12.36ポイントも上回った。
• ベースラインと比較して、モデルの一般化性能が著しく優れており、トレーニング時に見られなかったコードに対して49%の一般化性能の向上を示した。
• 複数トークンに分割された変数名に対しても良好な性能を発揮し、2〜5個のトークンに分割された名前に対しても、妥当な精度を維持した。
• 主な誤りタイプは、トークン数の誤予測、部分的なトークンの誤生成、および少数の文字のずれ（off-by-few-chars）であり、これらは予測空間内の曖昧さに起因する。
• DIREよりもデータ効率が高く、計算コストも低い一方で、より小型なアーキテクチャでありながら優れた性能を達成した。
• ヒューリスティックベースのトークン数予測アルゴリズムは、変数名長の不確実性という課題を効果的に解決し、高精度な推論を可能にした。