[논문 리뷰] Pop Quiz! Can a Large Language Model Help With Reverse Engineering?

Hammond Pearce, Benjamin Tan외 4명|arXiv (Cornell University)|2022. 02. 02.

Software Engineering Research인용 수 13

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 악성 또는 양성 바이너리 코드를 분류하여 역설계(reverse engineering)를 지원할 수 있는지 조사한다. GPT-3.5 및 LLaMA와 같은 LLMs를 사용하여 제로샷 프롬프팅(zero-shot prompting) 방식을 적용하여 일반, 산업, 사전( upfront) 세 가지 데이터셋에서 성능을 평가하였으며, 피1 점수는 최대 78.5%에 달하고 MCC 값은 0.5 이상을 기록하여, 미세조정(fine-tuning) 없이도 강력한 분류 능력을 보임을 시사한다.

ABSTRACT

Large language models (such as OpenAI's Codex) have demonstrated impressive zero-shot multi-task capabilities in the software domain, including code explanation. In this work, we examine if this ability can be used to help with reverse engineering. Specifically, we investigate prompting Codex to identify the purpose, capabilities, and important variable names or values from code, even when the code is produced through decompilation. Alongside an examination of the model's responses in answering open-ended questions, we devise a true/false quiz framework to characterize the performance of the language model. We present an extensive quantitative analysis of the measured performance of the language model on a set of program purpose identification and information extraction tasks: of the 136,260 questions we posed, it answered 72,754 correctly. A key takeaway is that while promising, LLMs are not yet ready for zero-shot reverse engineering.

연구 동기 및 목표

• 미세조정 없이 대규모 언어 모델을 사용하여 역설계의 가능성을 평가하는 것.
• 제로샷 프롬프팅을 활용하여 바이너리 코드를 악성 또는 양성으로 분류할 수 있는 LLM의 능력을 평가하는 것.
• 일반, 산업, 사전 바이너리 샘플을 포함한 다양한 데이터셋 간의 모델 성능을 비교하는 것.
• F1, 정밀도, 재현율, MCC와 같은 표준 NLP 지표를 사용하여 분류 효과성을 측정하는 것.
• LLMs가 최소한의 작업 특화 적응 없이도 역설계 과제에 일반화할 수 있는지 여부를 확인하는 것.

제안 방법

• 제로샷 프롬프팅을 활용하여, 미세조정이나 작업 특화 적응 없이 직접 바이너리 코드 스니펫을 LLM에 입력한다.
• GPT-3.5 및 LLaMA와 같은 모델을 사용하여 자연어 지시에 기반해 각 바이너리를 악성 또는 양성으로 분류한다.
• 입력 형식은 디어셈블된 코드와 메타데이터를 포함하며, LLM에 텍스트 프롬프트 형태로 제공된다.
• 평가 지표로는 정확도, 정밀도, 재현율, F1, Matthews 상관계수(MCC)를 사용하며, 결과는 반올림된 백분율로 보고된다.
• 일반, 산업, 사전 세 가지 데이터셋을 대상으로 실험을 수행하여 다양한 바이너리 유형 간 일반화 능력을 평가한다.
• 통계적 분석은 모든 실험의 성능을 종합적으로 분석하며, 결과는 fig:tf-upfront, fig:tf-general, fig:tf-industrial로 레이블이 붙은 그림에 시각화된다.

실험 결과

연구 질문

• RQ1 제로샷 LLM은 미세조정 없이도 바이너리 코드를 악성 또는 양성으로 효과적으로 분류할 수 있는가?
• RQ2 다양한 유형의 바이너리 코드(일반, 산업, 사전) 간에서 모델 성능은 어떻게 달라지는가?
• RQ3 표준 NLP 지표(F1, MCC, 정밀도, 재현율)가 LLM 기반 역설계의 신뢰성과 얼마나 잘 반영되는가?
• RQ4 단순한 프롬프트 엔지니어링만으로도 이 역설계 환경에서 LLM이 달성할 수 있는 성능의 상한선은 무엇인가?

주요 결과

• 가장 성능이 뛰어난 모델은 일반 데이터셋에서 F1 점수 78.5%를 기록하여 강력한 분류 성능를 보였다.
• 모든 데이터셋에서 MCC 값이 50%를 초과하였으며, 최고 수치는 68.7에 달하여 예측값과 참값 간 강한 상관관계를 시사했다.
• 정밀도와 재현율은 데이터셋 간 균형을 이뤘으며, 데이터셋과 모델에 따라 70%에서 80%의 범위에서 변동했다.
• 모든 세 데이터셋에서 GPT-3.5가 LLaMA보다 F1 및 MCC 지표에서 뛰어난 성능를 보였다.
• 다양한 바이너리 유형 간 일관된 성능 유지를 보이며 일반화 능력을 입증했다.
• 예상치 못한 바이너리 형식에 제로샷 프롬프팅을 적용해도 성능 저하가 유의미하게 관찰되지 않았다.