[論文レビュー] RatGPT: Turning online LLMs into Proxies for Malware Attacks

Mika Beckerich, Laura Plein+1 more|arXiv (Cornell University)|Aug 17, 2023

Advanced Malware Detection Techniques被引用数 15

ひとこと要約

この論文は、ウェブプラグインを備えたChatGPTを悪意あるC2サーバーと被害者の機械をつなぐ代理として使用し、被害者の機械を武器化して指揮命令を出す、インメモリマルウェアの作成と検知回避を実現したことを示している。

ABSTRACT

The evolution of Generative AI and the capabilities of the newly released Large Language Models (LLMs) open new opportunities in software engineering. However, they also lead to new challenges in cybersecurity. Recently, researchers have shown the possibilities of using LLMs such as ChatGPT to generate malicious content that can directly be exploited or guide inexperienced hackers to weaponize tools and code. These studies covered scenarios that still require the attacker to be in the middle of the loop. In this study, we leverage openly available plugins and use an LLM as proxy between the attacker and the victim. We deliver a proof-of-concept where ChatGPT is used for the dissemination of malicious software while evading detection, alongside establishing the communication to a command and control (C2) server to receive commands to interact with a victim's system. Finally, we present the general approach as well as essential elements in order to stay undetected and make the attack a success. This proof-of-concept highlights significant cybersecurity issues with openly available plugins and LLMs, which require the development of security guidelines, controls, and mitigation strategies.

研究の動機と目的

• 公開されているLLMsとそのプラグインが攻撃面としてどのように悪用され得るかを認識させる。
• LLMsをC2通信の代理として使う完全自動化可能な実行可能パイプラインを実証する。
• 攻撃者がホスト上の直接的な痕跡を残すことなく、被害者の機械を遠隔操作できることを示す。
• このような攻撃面に対する制限事項、予防策、および緩和戦略を検討する。

提案手法

• ウェブを閲覧し任意のURLへアクセスできる脆弱なプラグインを定義する。
• ジャイルブレイクされたプロンプトを用いて safeguard を回避し、LLMを介して実行可能なコードを生成する。
• LLMへのプロンプトを用いてC2サーバーのIPアドレスとペイロードコードを動的に生成する。
• LLM生成コードをインメモリで評価して安全でない実行ファイルを武器化する。
• LLM対応ウェブプラグインを介して攻撃者のC2サーバーとのペイロード通信を協調させる。
• ペイロード生成、C2ポーリング、データ外部化を含む概念実証ワークフローを説明する。

実験結果

リサーチクエスチョン

• RQ1 OpenAI風のオンラインLLMとプラグインは covert proxies として指揮・制御チャネルを確立・維持できるか。
• RQ2 LLM生成コードとウェブ対応プラグインを介して無害な実行ファイルを武器化するためのエンドツーエンドの実用的なワークフローは何か。
• RQ3 プラグインを用いたLLMベースのプロキシマルウェアを防止・検知するための緩和戦略と安全対策は何か。

主な発見

• 完全に実行可能で自動化されたパイプラインは、公に利用可能なLLMsとプラグインを用いてC2通信チャネルを形成できる。
• 概念実証は、被害者の機械を侵害し、LLM生成ペイロードを介してシェルコマンドを実行する実現可能性を示す。
• 攻撃は被害者に対して受動的であり、実行後にユーザーからのプロンプトを必要としない。
• ペイロードとIPアドレスはLLMによってその場で生成され、マルウェアスキャナーや静的解析の回避に役立つ。