[논문 리뷰] On Secure and Usable Program Obfuscation: A Survey

Hui Xu, Yangfan Zhou외 2명|arXiv (Cornell University)|2017. 10. 03.

Advanced Malware Detection Techniques참고 문헌 99인용 수 18

한 줄 요약

이 종합 검토는 코드 중심 및 모델 중심의 오브스컬레이션 접근 방식을 분석하여 프로그램 오브스컬레이션에서 보안성과 사용성의 동시 달성을 위한 가능성을 조사한다. 연구 결과, 현재의 방법 중 어느 것도 충분한 보안 보장을 제공하지 못하며, 성능 면에서도 실용적이지 않다. 주된 원인은 보안성과 효율성에 대한 평가 지표가 부족하기 때문이다.

ABSTRACT

Program obfuscation is a widely employed approach for software intellectual property protection. However, general obfuscation methods (e.g., lexical obfuscation, control obfuscation) implemented in mainstream obfuscation tools are heuristic and have little security guarantee. Recently in 2013, Garg et al. have achieved a breakthrough in secure program obfuscation with a graded encoding mechanism and they have shown that it can fulfill a compelling security property, i.e., indistinguishability. Nevertheless, the mechanism incurs too much overhead for practical usage. Besides, it focuses on obfuscating computation models (e.g., circuits) rather than real codes. In this paper, we aim to explore secure and usable obfuscation approaches from the literature. Our main finding is that currently we still have no such approaches made secure and usable. The main reason is we do not have adequate evaluation metrics concerning both security and performance. On one hand, existing code-oriented obfuscation approaches generally evaluate the increased obscurity rather than security guarantee. On the other hand, the performance requirement for model-oriented obfuscation approaches is too weak to develop practical program obfuscation solutions.

연구 동기 및 목표

• 기존의 코드 중심 오브스컬레이션 기법이 강력한 보안 보장을 제공할 수 있는지 평가하기 위해.
• 다양한 그레이드 인코딩 기반 모델 중심 오브스컬레이션 접근 방식(예: GGH, CLT)이 실제 소프트웨어에 실용적으로 적용 가능한지 평가하기 위해.
• 종합적인 평가 지표의 부재가 안전하고 사용자 친화적인 오브스컬레이션 개발을 방해하는 핵심 장애물임을 규명하기 위해.
• 실제 코드에서 이론적 보안성(예: 구분 불가능성)과 실용적 사용성 간의 괴리를 탐색하기 위해.
• 보안성과 성능을 균형 잡는 의미 기반의 새로운 평가 지표가 필요하다는 것을 제안하기 위해.

제안 방법

• 보편성, 내성, 은폐성, 비용 등의 지표를 사용하여 코드 중심 오브스컬레이션 기법을 비교 조사하기 위해.
• 다중선형 사상 및 그레이드 인코딩 메커니즘(예: GGH, CLT)을 기반으로 한 모델 중심 오브스컬레이션 접근 방식을 분석하기 위해.
• 소규모 프로그램(예: 포인트 함수, XOR 연산)에서 그레이드 인코딩 체계의 성능을 평가하기 위해.
• 암호 분석 노력과 수정된 체계를 조사하여 그레이드 인코딩의 현재 보안 수준을 평가하기 위해.
• 추상 해석을 활용하여 오브스컬레이션 효과가 프로그램 의미에 미치는 영향을 모델링하는 의미 기반 평가 방법을 제안하기 위해.
• 의미 보안성과 런타임 효율성을 동시에 고려하는 표준화된 지표의 부재를 규명하기 위해.

실험 결과

연구 질문

• RQ1 기존의 코드 중심 오브스컬레이션 기법이 난이도 증가 외에 의미 보호 기반의 증명 가능한 보안 보장을 제공할 수 있는가?
• RQ2 GGH 및 CLT와 같은 모델 중심 오브스컬레이션 체계가 복잡한 문법과 API를 포함한 실제 소프트웨어에 실용적으로 적용 가능한가?
• RQ3 기존의 평가 지표가 왜 오브스컬레이션된 프로그램의 진정한 보안성을 평가하지 못하는가?
• RQ4 그레이드 인코딩 메커니즘은 단순한 수학적 함수를 초월해 일반 목적의 프로그램에 얼마나 스케일링 가능한가?
• RQ5 보안성과 사용성의 균형을 맞추기 위해 어떤 평가 프레임워크가 필요한가?

주요 결과

• 현재의 코드 중심 오브스컬레이션 접근 방식은 기존 지표가 난이도 증가에 치중되어 있어 의미 보호를 고려하지 않아 의미 있는 보안 보장을 제공하지 못한다.
• 그레이드 인코딩을 사용하는 모델 중심 오브스컬레이션은 강력한 이론적 보안성(예: 구분 불가능성)을 달성하지만, 과도한 오버헤드로 인해 오브스컬레이션된 프로그램 크기가 수백 메가바이트 또는 기가바이트에 이르게 된다.
• CLT 및 GGH와 같은 그레이드 인코딩 체계는 40비트 포인트 함수와 같은 소규모 프로그램에서도 너무 느리고 비효율적이어서 실용적 사용이 불가능하다.
• 기존의 오브스컬레이션 도구는 어휘 정보, API 호출, 제어 흐름 구조와 같은 복잡한 코드 요소를 처리하지 못하며, 이는 해커가 여전히 악용 가능한 취약점을 남긴다.
• 다항식 오버헤드 요구 조건은 실용적 사용성을 확보하기에는 너무 약하며, 프로그램 크기가 여전히 실용적으로 불가능한 크기로 증가할 수 있다.
• 의미 보안성과 런타임 효율성을 동시에 고려하는 평가 지표의 부재로 인해 안전하고 사용자 친화적인 오브스컬레이션 개발에 진전이 어려운 상황이다.