[논문 리뷰] Using Neural Networks to improve classical Operating System Fingerprinting techniques

Carlos Sarraute, Javier Burroni|El Servicio de Difusión de la Creación Intelectual (National University of La Plata)|2010. 06. 09.

Digital Media Forensic Detection참고 문헌 5인용 수 13

한 줄 요약

이 논문은 신경망을 사용하여 고전적인 원격 운영 체제 지문 분석을 향상시키며, 운영 체제 탐지 문제를 추론 문제로 모델링하여 기존의 '최적 일치' 히우리스틱 기반 방법보다 정확도와 견고성을 향상시킨다. 이 방법은 DCE-RPC 엔드포인트와 Nmap 서명을 기반으로 훈련된 다층 퍼셉트론을 사용하여 운영 체제 버전과 에디션을 분류하며, 특히 세분화된 Windows 버전을 구분하는 데 뛰어난 성능을 보이며 고전적 방법 대비 오류 매칭 수를 92% 감소시켰다.

ABSTRACT

We present remote Operating System detection as an inference problem: given a set of observations (the target host responses to a set of tests), we want to infer the OS type which most probably generated these observations. Classical techniques used to perform this analysis present several limitations. To improve the analysis, we have developed tools using neural networks and Statistics tools. We present two working modules: one which uses DCE-RPC endpoints to distinguish Windows versions, and another which uses Nmap signatures to distinguish different version of Windows, Linux, Solaris, OpenBSD, FreeBSD and NetBSD systems. We explain the details of the topology and inner workings of the neural networks used, and the fine tuning of their parameters. Finally we show positive experimental results.

연구 동기 및 목표

• 고전적인 운영 체제 지문 분석 기법의 한계를 극복하기 위해, 히우리스틱 '최적 일치' 알고리즘에 의존하며 비표준 또는 복잡한 상황에서 실패하는 기법을 개선한다.
• 네트워크 응답에서의 핵심 구분 특징을 식별하여 운영 체제 탐지를 구조적 추론 문제로 모델링한다.
• 저수준 네트워크 행동에서 의미 있는 패턴을 추출하기 위해 신경망과 통계 분석을 활용하여 탐지 정확도와 견고성을 향상시킨다.
• 수동 규칙 기반 매칭에 의존하는 것을 줄이고, 기계 학습을 통해 특징 선택과 분류를 자동화한다.

제안 방법

• 3층 다층 퍼셉트론을 사용한다: DCE-RPC 응답의 UUID와 엔드포인트를 인코딩하는 데 413개의 입력 뉴런, 특징 조합을 학습하는 데 42개의 은닉 뉴런, 고유한 운영 체제 버전과 서비스 팩을 나타내는 데 25개의 출력 뉴런을 사용한다.
• 오차 추세에 따라 학습률을 동적으로 조정하는 적응형 학습률과 운동량을 사용한 역전파 알고리즘을 사용하여 네트워크를 훈련시킨다. 이는 수렴 속도를 가속화한다.
• 라벨이 부여된 운영 체제 응답 데이터셋을 사용하여 지도 학습 방식으로 네트워크를 훈련시키며, 각 에포크마다 입력 순서를 무작위로 섞어 편향을 방지한다.
• 주성분 분석과 상관계수 행렬 감소를 적용하여 Nmap 테스트 응답에서 가장 구분 능력이 높은 특징을 식별한다.
• 실제 호스트 응답을 사용하여 시스템을 평가하며, 신경망 예측 결과를 고전적 Nmap 및 DCE-RPC 모듈과 비교한다.
• 학습 속도와 안정성을 향상시키기 위해 적응형 학습률 전략을 구현하여, 수렴 시간을 14시간에서 400세대 이내로 단축시켰다.

실험 결과

연구 질문

• RQ1 신경망은 네트워크 응답을 기반으로 운영 체제 버전을 분류하는 데 있어 고전적 '최적 일치' 알고리즘을 능가할 수 있는가?
• RQ2 어떤 네트워크 특징(예: DCE-RPC 엔드포인트 또는 Nmap 서명 필드)이 운영 체제 지문 분석에 가장 구분 능력이 높은가?
• RQ3 적응형 학습률 전략은 운영 체제 지문 분석에서 학습 수렴과 모델 일반화에 어떻게 기여하는가?
• RQ4 신경망 접근 방식은 규칙 기반 시스템보다 세분화된 운영 체제 차이(예: 서비스 팩, 에디션)를 더 신뢰성 있게 탐지할 수 있는가?
• RQ5 네트워크 응답의 통계 분석은 최적의 지문 분석 테스트 선택을 얼마나 잘 이끌 수 있는가?

주요 결과

• 신경망 접근 방식은 오류 매칭 수를 92% 감소시켜, 고전적 Nmap 모듈의 9건에서 2건으로 줄였으며, 이는 훨씬 높은 정확도를 보여준다.
• 신경망 기반 Nmap 모듈은 Solaris 8을 0.99999999999999789의 신뢰도 점수로 정확히 식별하여 거의 완벽한 분류를 보였다.
• 적응형 학습률 전략은 학습 시간을 14시간에서 400세대 이내로 단축시켜 더 빠른 수렴과 낮은 오차 수준을 달성했다.
• 시스템은 독립적인 출력 뉴런을 통해 에디션과 서비스 팩을 구분하여 총 25개의 고유한 Windows 버전과 서비스 팩을 성공적으로 식별했으며, 분류의 세분화 수준을 향상시켰다.
• 주성분 분석을 통해 특정 Nmap 테스트 필드(예: TCP 윈도우 크기, TTL, DF 비트)가 OpenBSD 버전 식별에 매우 구분 능력이 높다는 것이 밝혀졌다.
• 복잡한 특징 상호작용을 모델링함으로써 히프만 거리 기반 접근 방식에 의존하는 것보다 거짓 긍정 수를 줄이고, 특히 Windows 시스템에서 미세한 운영 체제 차이를 더 잘 탐지할 수 있었다.