[논문 리뷰] Data-Oblivious External-Memory Algorithms for the Compaction, Selection, and Sorting of Outsourced Data

Michael T. Goodrich|arXiv (Cornell University)|2011. 03. 26.

Cryptography and Data Security인용 수 10

한 줄 요약

이 논문은 외부 메모리 모델에서 암호화된 데이터의 압축, 선택, 정렬을 위한 데이터 무관 외부 메모리 알고리즘을 제안하며, 액세스 패턴이 입력 데이터에 대한 정보를 유출하지 않도록 보장한다. 최적의 I/O 복잡도를 달성한다: 압축과 선택에 대해 $O(N/B)$, 정렬에 대해 고확률로 $O((N/B)/log_{M/B}(N/B))$이며, 셔플 앤 데일 퍼티루베이션 및 역행성 블룸 필터와 같은 새로운 기법을 사용한다.

ABSTRACT

We present data-oblivious algorithms in the external-memory model for compaction, selection, and sorting. Motivation for such problems comes from clients who use outsourced data storage services and wish to mask their data access patterns. We show that compaction and selection can be done data-obliviously using $O(N/B)$ I/Os, and sorting can be done, with a high probability of success, using $O((N/B)\log_{M/B} (N/B))$ I/Os. Our methods use a number of new algorithmic techniques, including data-oblivious uses of invertible Bloom lookup tables, a butterfly-like compression network, randomized data thinning, and "shuffle-and-deal" data perturbation. In addition, since data-oblivious sorting is the bottleneck in the "inner loop" in existing oblivious RAM simulations, our sorting result improves the amortized time overhead to do oblivious RAM simulation by a logarithmic factor in the external-memory model.

연구 동기 및 목표

• 암호화된 상태에서도 액세스 패턴이 민감한 정보를 노출할 수 있는 외부 저장 데이터 스토리지의 프라이버시 유출 문제를 해결한다.
• 사용자 프라이버시를 보호하기 위해 데이터 액세스 패턴을 가림으로써 외부 메모리 모델에서 작동하는 알고리즘을 개발한다.
• 데이터 무관 조건 하에 기본 연산인 압축, 선택, 정렬에 대해 최적의 I/O 복잡도를 달성한다.
• 정렬의 I/O 오버헤드를 감소시켜 오블리비ous RAM 시뮬레이션의 효율성을 향상시킨다.

제안 방법

• 입력 데이터에 관계없이 액세스 패턴이 일정하도록 하기 위해 셔플 앤 데일 데이터 퍼티루베이션 기법을 사용한다.
• 데이터 무관 압축과 선택을 위해 역행성 블룸 룩업 테이블을 활용하여 효율적이고 기밀 유지 가능한 데이터 필터링을 구현한다.
• 서브프로브 크기를 계속 줄이면서도 데이터 무관성을 유지하기 위해 버블리플라이 유사 압축 네트워크를 설계한다.
• 입력 크기를 줄이고 정렬의 서브프로브 복잡도를 관리하기 위해 랜덤화된 데이터 토닝 기법을 적용한다.
• 확률적 서브프로브 분석 기반의 실패 스위핑 기법을 사용하여 고확률로 성공하는 재귀적 정렬을 처리한다.
• 패딩된 정렬과 순서 유지 압축을 조합하여 최종 정렬 결과를 복원하면서도 데이터 무관성을 유지한다.

실험 결과

연구 질문

• RQ1 외부 메모리에서 데이터 무관 액세스 패턴과 함께 최적의 $O(N/B)$ I/O로 압축과 선택을 해결할 수 있는가?
• RQ2 기본 외부 메모리 가정 하에 데이터 무관 정렬에서 $O((N/B)/log_{M/B}(N/B))$ I/O 복잡도를 달성할 수 있는가?
• RQ3 서브프로브 크기나 액세스 패턴을 통한 정보 유출 없이 재귀 알고리즘에서 데이터 무관성을 유지할 수 있는가?
• RQ4 외부 메모리 모델에서 정렬 프리미티브를 개선함으로써 오블리비어스 RAM 시뮬레이션의 I/O 오버헤드를 줄일 수 있는가?
• RQ5 재귀적 서브프로브를 포함한 데이터 무관 정렬에서 고확률 성공을 보장하기 위해 필요한 확률적 보장 조건은 무엇인가?

주요 결과

• 압축과 선택은 데이터 무관 알고리즘을 사용해 $O(N/B)$ I/O로 수행할 수 있으며, 비공개 버전의 최적 I/O bound를 정확히 따르고 있다.
• 고확률로 $O((N/B)/log_{M/B}(N/B))$ I/O로 정렬을 달성하여, 오블리비어스 RAM 시뮬레이션의 평균 오버헤드를 로그 단위로 개선한다.
• 넓은 블록 및 높은 캐시 가정 하에 알고리즘은 확률 $1 - 1/(N/B)^d$로 성공한다. 여기서 $d \geq 1$은 임의의 상수이다.
• 셔플 앤 데일 및 랜덤화된 데이터 토닝의 사용으로 액세스 패턴이 입력 데이터 값과 독립적이게 된다.
• 실패 스위핑 기법은 고확률로 실패하는 재귀 서브프로브의 수를 다항식 이하 수준으로 줄여 효율적인 복구를 가능하게 한다.
• 이 프레임워크는 Amazon S3와 같은 외부 스토리지 시스템에 실용적으로 구현 가능하며, 암호화된 데이터 상태에서도 프라이버시 보존 액세스가 필수적인 환경에서 유용하다.