[論文レビュー] Blockchain Large Language Models

Yu Gai, Liyi Zhou+3 more|arXiv (Cornell University)|Apr 25, 2023

Blockchain Technology Applications and Security被引用数 15

ひとこと要約

BlockGPT は predefined ルールを用意せず、取引実行 traces から学習してリアルタイムに異常な Ethereum 取引を検出する大規模言語モデルを訓練し、高いスループットを達成するとともに top abnormal 取引の多くを検出します。

ABSTRACT

This paper presents a dynamic, real-time approach to detecting anomalous blockchain transactions. The proposed tool, BlockGPT, generates tracing representations of blockchain activity and trains from scratch a large language model to act as a real-time Intrusion Detection System. Unlike traditional methods, BlockGPT is designed to offer an unrestricted search space and does not rely on predefined rules or patterns, enabling it to detect a broader range of anomalies. We demonstrate the effectiveness of BlockGPT through its use as an anomaly detection tool for Ethereum transactions. In our experiments, it effectively identifies abnormal transactions among a dataset of 68M transactions and has a batched throughput of 2284 transactions per second on average. Our results show that, BlockGPT identifies abnormal transactions by ranking 49 out of 124 attacks among the top-3 most abnormal transactions interacting with their victim contracts. This work makes contributions to the field of blockchain transaction analysis by introducing a custom data encoding compatible with the transformer architecture, a domain-specific tokenization technique, and a tree encoding method specifically crafted for the Ethereum Virtual Machine (EVM) trace representation.

研究の動機と目的

• ブロックチェーン/DeFi の取引における動的でスケーラブルな異常検知の必要性を動機づける。
• predefined vulnerability patterns を使わず、取引実行 traces をモデリングする自己教師あり学習アプローチを提案する。
• transformer アーキテクチャと互換性のあるドメイン特化のエンコーディングとトークン化パイプラインを開発する。
• BlockGPT を大規模な Ethereum データセット上の異常ランキングツールとして実証し、リアルタイム性能を評価する。

提案手法

• 呼出し、状態、ログ traces を結合する木として新しい中間 trace 表現（ITR）を構築する。
• Domain-specific tokens からなる固定語彙を形成するよう ITR ノードをトークン化する。
• トークン、木の位置、文脈埋め込みの和として局所トークン埋め込みを計算する。
• 木を意識した位置エンコーディングを持つトランスフォーマーエンコーダを適用して traces の埋め込みを学習する。
• 教師なし/自己教師ありの方法で BlockGPT を訓練するために因果言語モデル化損失を用いる。
• traces の対数尤度によって取引をランキングし、最も異常なものに警報を上げる。

実験結果

リサーチクエスチョン

• RQ1 Ethereum の取引 traces に対する自己監視型/自己教師あり学習が、事前定義済みの脆弱性パターンなしに異常または悪意のある挙動を検出できるか。
• RQ2 ITR 表現で訓練されたトランスフォーマーベースのモデルがリアルタイムで異常取引をランキングするのにどれくらい効果的か。
• RQ3 BlockGPT は高ボリュームの DeFi 環境でどの程度のスループットと偽陽性特性を達成できるか。

主な発見

• BlockGPT は平均スループット 2,284 ± 289 取引/秒を達成した。
• BlockGPT は 124 件の攻撃の中で上位3件の最も異常な取引に 49 件をランキングした。
• BlockGPT は 攻撃全体で最も異常と判定された取引を 20 件、2 番目に異常と判定された取引を 20 件、3 番目に異常と判定された取引を 7 件識別した。
• 高ボリュームの DeFi 設定において、0.01% アラーム閾値で絶対偽陽性率を低く保ち、100 件/日 の取引で 0.1% の偽陽性率あたり約 10 日毎に警報を出せた。
• BlockGPT は単一取引をランキングするのに平均 0.16 ± 0.3 秒のリアルタイム異常検知能力を示す。
• 本研究はカスタムデータエンコーディング、ドメイン特化のトークン化、および EVM traces に特化した木エンコーディング手法を導入し、堅牢な自己監視異常検知を実現する。