[논문 리뷰] Algorithmic Diversity for Software Security

Michael Stewart|arXiv (Cornell University)|2013. 12. 13.

Security and Verification in Computing참고 문헌 5인용 수 3

한 줄 요약

이 논문은 소프트웨어 보안에서 알고리즘 다양성을 위한 결정론적 컴파일 타임 알고리즘을 제안하며, 패턴 기반 NOP 삽입을 사용해 실행 가능 파일의 다양한 보안 버전을 생성한다. 최소한의 성능 오버헤드(4% 오버헤드)와 낮은 메모리 팽창을 통해 높은 엔트로피(15,010)를 달성하며, 무작위 또는 패딩 전용 방법보다 뛰어나며, 보안, 성능, 자원 사용 간 조절 가능한 트레이드오프를 제공한다.

ABSTRACT

Software diversity protects against a modern-day exploits such as code-reuse attacks. When an attacker designs a code-reuse attack on an example executable, it relies on replicating the target environment. With software diversity, the attacker cannot reliably replicate their target. This is a security benefit which can be applied to massive-scale software distribution. When applied to large-scale communities, an invested attacker may perform analysis of samples to improve the chances of a successful attack (M. Franz). We present a general NOP-insertion algorithm which can be expanded and customized for security, performance, or other costs. We demonstrate an improvement in security so that a code-reuse attack based on any one variant has minimal chances of success on another and analyse the costs of this method. Alternately, the variants may be customized to meet performance or memory overhead constraints. Deterministic diversification allows for the flexibility to balance these needs in a way that doesn't exist in a random online method.

연구 동기 및 목표

• 대규모 소프트웨어 배포에서 온라인 무작위 다양화의 한계를 해결하기 위해 결정론적 컴파일 타임 접근법을 도입하기 위해.
• 공격자가 다양한 소프트웨어 버전 간 가젯 위치를 신뢰성 있게 예측할 수 있는 능력을 감소시키기 위해.
• 다양화된 소프트웨어 생태계에서 보안, 성능, 메모리 오버헤드 간 조절 가능한 트레이드오프를 가능하게 하기 위해.
• 공격자에 대한 불확실성과 성공적인 코드 재사용 공격 확률 감소를 반영하는 엔트로피 메트릭을 사용해 다양성을 평가하기 위해.
• 결정론적 패턴 기반 NOP 삽입이 무작위 또는 패딩 전용 방법보다 다양성과 효율성 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 결정론적 다양화 알고리즘이 컴파일 타임에 적용되어, 배포 이전에 고정된 다수의 다양한 버전을 생성한다.
• 이 방법은 패턴 기반 NOP 삽입—비균일한 구조적 패턴으로 NOP를 삽입함—을 사용하여 엔트로피를 증가시키고 다양한 버전 간 가젯 겹침을 줄인다.
• 다양화를 배포에서 분리하여, 런타임 조건과 무관하게 일관되고 반복 가능한 버전 생성이 가능하다.
• 엔트로피는 공격자에 대한 불확실성의 척도로 계산되며, P(c)는 동일한 위치에 기능적으로 동일한 가젯이 다른 버전에 존재할 확률을 나타낸다.
• 이 프레임워크는 가젯 겹침, 파일 크기, 성능 오버헤드를 기반으로 다양한 변환 유형(예: NOP05, NOP50, NOP100) 간에 버전을 비교한다.
• 성능 및 파일 크기는 표준화된 벤치마크를 기반으로 50개의 다양화된 SQLite 3.6.9 바이너리에서 측정되었다.

실험 결과

연구 질문

• RQ1 결정론적 컴파일 타임 다양화가 보안 소프트웨어 버전 생성에서 무작위 온라인 다양화보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 패턴 기반 NOP 삽입은 패딩 전용 또는 무작위 삽입에 비해 엔트로피를 얼마나 높이고 가젯 겹침을 얼마나 줄이는가?
• RQ3 컴파일 타임 다양화 소프트웨어에서 다양성 수준이 증가함에 따라 성능 오버헤드와 메모리 비용은 어떻게 증가하는가?
• RQ4 이 방법은 다양성을 희생시키지 않고 보안, 성능, 자원 제약 간의 균형을 조절할 수 있는가?
• RQ5 다양성 메트릭(예: 엔트로피)과 성공적인 코드 재사용 공격 확률 사이의 관계는 어떠한가?

주요 결과

• 패턴 기반 NOP 삽입은 오직 4% 성능 오버헤드와 15% 파일 크기 증가로 엔트로피 점수 15,010을 달성하여 패딩 전용 방법보다 뛰어났다.
• 패딩 전용 방법은 가장 높은 엔트로피(15,019)를 기록했지만, 원본 대비 2% 성능 향상과 약간 적은 디스크 공간 사용을 보였다.
• 컴파일 타임 NOP100 삽입은 파일 크기 오버헤드 32.18%와 성능 오버헤드 6.069%를 유발하여 고밀도 삽입 비율에서 수익 감소 현상을 보였다.
• 패턴 기반 방법은 50개 버전의 커뮤니티에서 600개의 고유 가젯을 생성했으며, 최소한의 성능 비용과 높은 다양성을 확보했다.
• 노이즈 기반 NOP 삽입은 파일 크기 오버헤드 11.31%와 성능 비용 8.256%를 기록하여, 낮은 다양성 증가에 비해 높은 비용을 유발했다.
• 이 방법은 다양성 조절이 가능하다: 패드 크기나 노이즈 비율을 줄이면 낮은 비용으로도 높은 엔트로피를 유지할 수 있어 최적화 잠재력이 있다.