[논문 리뷰] Secure Parallel Processing of Big Data Using Order-Preserving Encryption on Google BigQuery

Timo Schindler, Christoph Skornia|arXiv (Cornell University)|2016. 08. 29.

Cryptography and Data Security참고 문헌 21인용 수 3

한 줄 요약

이 논문은 Google BigQuery 내에서 Order-Preserving Encryption (OPE)를 사용하여 신뢰할 수 없는 클라우드 플랫폼에서 대규모 데이터의 병렬 처리를 안전하고 효율적으로 수행할 수 있는 방법을 제안한다. 특히 mOPE와 AES 암호화를 활용하여, 암호화된 데이터가 조건부로 10초 이내에 정렬되고 쿼리될 수 있음을 입증한다. 이는 클라우드 제공자에게도 평문 데이터를 노출하지 않으면서도 안전하고 실시간 분석을 가능하게 한다.

ABSTRACT

With the increase of centralization of resources in IT-infrastructure and the growing amount of cloud services, database management systems (DBMS) will be more and more outsourced to Infrastructure-as-a-Service (IaaS) providers. The outsourcing of entire databases, or the computation power for processing Big Data to an external provider also means that the provider has full access to the information contained in the database. In this article we propose a feasible solution with Order-Preserving Encryption (OPE) and further, state of the art, encryption methods to sort and process Big Data on external resources without exposing the unencrypted data to the IaaS provider. We also introduce a proof-of-concept client for Google BigQuery as example IaaS Provider.

연구 동기 및 목표

• Google BigQuery와 같은 신뢰할 수 없는 인프라-기반 서비스(IaaS) 플랫폼에서 대규모 데이터의 안전하고 외주 처리를 가능하게 하는 것.
• 정렬 및 쿼리와 같은 핵심 작업을 암호화된 데이터에서 수행하면서도 데이터 기밀성을 유지하는 것.
• 클라우드 네이티브 환경에서 OPE와 대칭 암호화를 지원하는 실용적이고 효율적인 클라이언트 측 암호화 프oxy를 개발하는 것.
• 실세계 워크로드를 사용하여 대규모 데이터셋에서 OPE 기반 암호화의 성능과 확장성을 평가하는 것.
• 기본 OPE를 초월하여 쿼리 분포를 숨기고 보다 강력한 보안을 확보하기 위한 확장 기법을 탐색하는 것.

제안 방법

• Google BigQuery와 같은 클라우드 NoSQL 데이터베이스의 제약 조건에 맞게 mOPE(mutable Order-Preserving Encryption)를 적용하는 것.
• OPE를 통해 순서를 유지하면서도 AES 암호화를 사용해 데이터를 보호하기 위해 일정한 초기화 벡터를 사용하는 것.
• BigQuery에 업로드하기 전에 데이터를 암호화하는 데 사용되는 수정된 클라이언트 도구(ebq-client)를 구현하여 안전한 원격 처리를 가능하게 하는 것.
• 암호화된 데이터를 표현하기 위해 이진 트리 구조를 사용하여 평문에서의 순서 관계가 암호문에서도 유지되도록 보장하는 것.
• BigQuery의 SQL 인터페이스와 비동기 API를 활용하여 암호화된 데이터에서 쿼리를 실행하고, 범위 스캔 및 비교 연산과 같은 작업을 지원하는 것.
• 데이터 변환을 처리하고 클라우드에 전송되는 것이 오직 암호화된 데이터뿐임을 보장하는 클라이언트 측 암호화 프록시를 도입하는 것.

실험 결과

연구 질문

• RQ1 Google BigQuery와 같은 신뢰할 수 없는 IaaS 플랫폼에서 OPE를 효과적으로 활용하여 대규모 데이터의 안전하고 순서 유지 처리를 가능하게 할 수 있는가?
• RQ2 클라우드 환경에서 대규모 데이터셋에 OPE와 AES 암호화를 적용할 경우 성능 오버헤드는 얼마나 되는가?
• RQ3 BigQuery에서 암호화된 데이터의 안전한 업로드 및 쿼리 실행을 지원할 수 있는 실용적인 클라이언트 측 암호화 프록시를 구축할 수 있는가?
• RQ4 데이터 볼륨 증가에 따라 시스템은 어떻게 확장되며, 복잡한 쿼리의 응답 시간은 어떠한가?
• RQ5 쿼리 분포 혼합 또는 ORAM과 같은 추가적인 가림 기법을 통해 순서 정보 외의 누출을 얼마나 줄일 수 있는가?

주요 결과

• Google BigQuery에서 암호화된 데이터에 대한 쿼리 응답 시간은 일관되게 10초 이내였으며, 100만 개의 결과를 반환하는 경우에도 마찬가지였다.
• 표준 랩탑에서 16자리 정수(예: 신용카드 번호) 100만 개를 암호화하는 데 약 2.04초가 소요되어 일반 하드웨어에서도 실현 가능함을 입증했다.
• 표본 크기와 암호화 시간 사이에 선형 상관관계가 관찰되었으며, 1000만 개의 레코드는 약 21.75초 만에 암호화되었다.
• 시스템은 암호화된 대규모 데이터에 대해 실시간 또는 거의 실시간 분석을 지원하며, 복호화 없이도 효율적인 처리가 가능하다.
• 제안된 클라이언트 측 암호화 프록시를 통해 데이터 처리 외주를 안전하게 수행하면서도 데이터 기밀성과 순서 의미를 유지할 수 있다.
• 해당 솔루션은 데이터 크기가 관리 가능한 규모에서 수십억 건의 레코드로 증가하는 동안에도 확장 가능하고 실용적이며, 실제 대규모 데이터 워크로드에 적합하다.