[논문 리뷰] Detecting Security-Relevant Methods using Multi-label Machine Learning

Oshando Johnson, Goran Piskachev외 2명|arXiv (Cornell University)|2024. 01. 01.

Network Security and Intrusion Detection인용 수 1

한 줄 요약

이 논문은 다중 레이블 기계 학습을 사용하여 Java 프로그램 내 보안 관련 메서드(SRMs)를 탐지하는 IntelliJ IDEA 플러그인인 Dev-Assist를 제시한다. 이는 레이블 상관관계를 모델링함으로써 이진 관련 방법보다 정밀도를 향상시킨다. 플러그인은 자동으로 SAST 설정을 생성하고 정적 분석을 실행하며 결과를 IDE에 표시하여 수동 작업을 50% 감소시키며, 이전 방법들보다 평균 F1-측정치가 높다.

ABSTRACT

To detect security vulnerabilities, static analysis tools need to be configured with security-relevant methods. Current approaches can automatically identify such methods using binary relevance machine learning approaches. However, they ignore dependencies among security-relevant methods, over-generalize and perform poorly in practice. Additionally, users have to nevertheless manually configure static analysis tools using the detected methods. Based on feedback from users and our observations, the excessive manual steps can often be tedious, error-prone and counter-intuitive. In this paper, we present Dev-Assist, an IntelliJ IDEA plugin that detects security-relevant methods using a multi-label machine learning approach that considers dependencies among labels. The plugin can automatically generate configurations for static analysis tools, run the static analysis, and show the results in IntelliJ IDEA. Our experiments reveal that Dev-Assist's machine learning approach has a higher F1-Measure than related approaches. Moreover, the plugin reduces and simplifies the manual effort required when configuring and using static analysis tools.

연구 동기 및 목표

• 기존의 이진 관련 기계 학습 접근법의 한계를 해결하기 위해, 레이블 상관관계를 忽시하고 일반화 능력이 떨어지는 보안 관련 메서드(SRMs) 탐지 문제를 다루기 위해.
• 정적 분석 도구(SAST)의 수동적이고 실수를 유발하기 쉬운 설정을 줄이기 위해, SRM 탐지 및 사양 생성을 자동화하기 위해.
• IntelliJ IDEA 환경 내에서 종단 간 취약성 탐지를 통합하여 개발자 워크플로우와 결과 해석 가능성 향상시키기 위해.
• 최신 기술인 SWAN 및 SWAN-Assist와 비교해 SRM 분류의 정밀도와 F1-측정치를 향상시키기 위해.

제안 방법

• SRM 레이블(예: 소스, 싱크, 정제기, CWE 유형 등) 간의 종속성을 포착하는 다중 레이블 기계 학습 모델을 사용하여, 이를 상호 독립적인 것으로 간주하지 않음.
• 메서드 서명과 구조적 코드 특징을 입력 특징으로 사용하여, Java 코드의 의미 정보를 활용해 모델을 훈련함.
• 실시간 개발 중에 SRM를 탐지하기 위해 IntelliJ IDEA용 플러그인을 구현함.
• 탐지된 SRM에서 SAST 호환 사양(예: fluentTQL)을 자동으로 생성하고, Qodana 및 SecuCheck와 통합하여 정적 분석을 수행함.
• SRM 내보내기, SAST 설정, 분석 실행, 결과 해석 등의 다수 수동 단계를 단일 클릭 워크플로우로 통합함.
• 교차 검증 및 무작위 샘플에 대한 수동 검증을 통해 모델 성능을 평가하며, 각 CWE 카테고리별 정밀도를 측정함.

실험 결과

연구 질문

• RQ1 다중 레이블 기계 학습 접근법이 Java 내 보안 관련 메서드 탐지에서 이진 관련 방법보다 우수한가?
• RQ2 플러그인은 실무에서 정적 분석 도구를 설정하고 사용하는 데 필요한 수동 작업을 줄일 수 있는가?
• RQ3 레이블 상관관계를 모델링함으로써 SRM 탐지의 정밀도와 F1-측정치는 어느 정도 향상되는가?
• RQ4 IDE 내에서 자동 설정 생성 및 결과 통합은 취약성 탐지에 얼마나 효과적인가?

주요 결과

• Dev-Assist의 다중 레이블 접근법은 이진 관련 방법보다 더 높은 F1-측정치를 달성하여 보다 우수한 일반화 및 레이블 상관관계 모델링 능력을 입증함.
• SRM 레이블의 평균 정밀도는 0.72이며, CWE862/CWE863에서 최고 정밀도 0.95를 기록함.
• 무작위 샘플 검증에서 CWE89의 정밀도는 0.35로 가장 낮았지만, Dev-Assist는 android.database.sqlite.SQLiteDatabase 내 74개의 싱크와 CWE89 메서드를 정확히 레이블링하여 실무에서 SWAN-Assist를 초월함.
• 플러그인은 SAST 설정 및 분석에 소요되는 수동 작업 수와 추정 시간을 50% 감소시켜 실제 평가에서 25분에서 12.5분으로 줄임.
• 결과가 IntelliJ IDEA 내 바로 표시되어 외부 SARIF 파일 분석 대비 결과 해석 및 검증에 소요되는 시간과 노력이 감소함.
• Android SQLite 클래스 내 74개의 정확히 레이블링된 CWE89 메서드 중 80% 이상은 SWAN-Assist에 의해 보안 관련 메서드로 분류되지 않았으며, 이는 정밀도 향상을 시사함.