[論文レビュー] Learning to Reverse DNNs from AI Programs Automatically

Simin Chen, Hamed Khanpour+2 more|arXiv (Cornell University)|May 20, 2022

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

NNReverse は、エッジデバイス上のコンパイル済みAIプログラムからバイナリコードの意味解析により、深層ニューラルネットワーク（DNN）を自動で逆コンパイルする学習ベースの手法である。文法的およびトポロジー的意味を統合した細粒度埋め込みモデルを用いることで、高精度な関数類似性検索を実現し、実世界のモデル（例：ResNet-18 や VGG-19）において精度損失なしに完全なDNN再構築を可能にする。

ABSTRACT

With the privatization deployment of DNNs on edge devices, the security of on-device DNNs has raised significant concern. To quantify the model leakage risk of on-device DNNs automatically, we propose NNReverse, the first learning-based method which can reverse DNNs from AI programs without domain knowledge. NNReverse trains a representation model to represent the semantics of binary code for DNN layers. By searching the most similar function in our database, NNReverse infers the layer type of a given function's binary code. To represent assembly instructions semantics precisely, NNReverse proposes a more fine-grained embedding model to represent the textual and structural-semantic of assembly functions.

研究の動機と目的

• オンデバイス上でのDNNデプロイにおけるモデル漏洩リスクの増大に対処する。特に、コンパイル済みモデルが逆コンパイル攻撃に対して脆弱である点を対象とする。
• ドメイン特化知識や手動解析を一切不要としながら、バイナリコードからのDNNの自動逆コンパイルを実現する。
• 複数のハードウェアプラットフォームに跨るアセンブリ関数のテクスト的および構造的意味を捉える表現モデルを開発する。
• バイナリ関数を既知のレイヤー型にマッピングすることで、精度の高い自動的かつ完全なDNNアーキテクチャ再構築を可能にする。
• 今後のオンデバイスDNNセキュリティ分野の研究を支援するため、4つのハードウェアプラットフォームに跨る8万件のデコンパイル済みDNN関数を含む公開データセットを提供する。

提案手法

• NNReverse は2段階のアプローチを採用する：オフライン段階でデコンパイル済みDNNカーネル関数のデータベースを構築し、意味的表現モデルを学習する。オンライン段階で未知のDNNを逆コンパイルする。
• アセンブリ命令のテキスト的意味と制御フローダイアグラム（CFG）のトポロジカル構造の両方を統合的に符号化する、新規の細粒度埋め込みモデルを導入する。
• 単語レベルの表現（例：Skip-gram や CBOW）とグラフベースの構造符号化を組み合わせることで、意味の忠実度を向上させる。
• 学習済み埋め込みを用いて関数類似性を計算し、類似度が最も高い既知の関数をデータベース内で検索することで、レイヤー型の推論を実現する。
• Android、Intel、ARM、AArch64 など多様なハードウェアプラットフォームで学習された表現モデルを用いることで、クロスプラットフォームでのDNN逆コンパイルを可能にする。
• 再構築段階では、推論されたレイヤー型とパrameterを用いて、最小限の精度損失で完全なDNNアーキテクチャを再構築する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン知識や手動逆コンパイルを一切不要としない学習ベース手法が、コンパイル済みAIプログラムからDNNを自動で逆コンパイルできるか？
• RQ2 文法的およびトポロジー的意味を統合した細粒度埋め込みモデルは、異なるハードウェアプラットフォームに跨るアセンブリ関数の機能的意味をどれほど正確に捉えられるか？
• RQ3 提案手法によるDNNアーキテクチャ再構築の忠実度は、元のモデルとの精度損失を指標として測定した場合、どの程度高いか？
• RQ4 埋め込み次元数やコンテキスト長といったハイパーパrameterの変更に対して、表現モデルの性能はどれほど感度を示すか？
• RQ5 提案された埋め込み技術は、低レベルコード表現で一般的な「語彙外語（OOV）」問題を軽減できるか？

主な発見

• NNReverse は、Android、Intel、ARM、AArch64 すべてのハードウェアプラットフォームで、word2vec や doc2vec、asm2vec といったベースライン手法と比較して、顕著に高いF1スコアを達成した。
• LeNet-5、ResNet-18、VGG-11、WideResNet-50 といった実世界のDNNが、入力出力比較により精度損失なしに正常に再構築された。
• 埋め込み次元（100～300）およびコンテキスト長（3～7）の変更に対しても、モデルは安定した性能を維持しており、ハイパーパrameter設定に対して低感度であることが示された。
• テキスト的およびトポロジカル埋め込みの併用は、30件中20件のケースで関数類似性の精度を向上させ、構造的情報の補完的価値を実証した。
• 細粒度埋め込みモデルは、各命令を独立語として扱う手法と比較して、特にIntelやARMプラットフォームでOOV比を低減した。
• アブレーションスタディの結果、トポロジーのみの埋め込みでは性能が劣り、テキストと構造の両方を組み合わせた場合が最良の結果を示した。これにより、本手法の設計選択が妥当であることが裏付けられた。