[논문 리뷰] The Design, Implementation, and Deployment of a System to Transparently Compress Hundreds of Petabytes of Image Files for a File-Storage Service

Daniel Reiter Horn, Ken Elkabany외 2명|arXiv (Cornell University)|2017. 03. 25.

Advanced Data Storage Technologies인용 수 4

한 줄 요약

Lepton은 기존 JPEG 이미지의 기준 허프만 부호화를 사용자 지정 산술 부호화 방식으로 대체함으로써 평균적으로 23%의 크기 감소를 이룬 손실 없는 압축 시스템으로, 스트리밍 및 저지연 복구를 가능하게 하며 Dropbox의 파일 저장 백엔드에 투명하게 통합되었다. 이 시스템은 사용자 JPEG 이미지 약 203 PiB를 압축하여 46 PiB 이상의 저장소 절약을 이뤘으며, 생산 환경에서 이전 도구 대비 9배 빠른 복구 속도를 달성했고, 완전한 복원 가능성과 장애 내성도 유지하고 있다.

ABSTRACT

We report the design, implementation, and deployment of Lepton, a fault-tolerant system that losslessly compresses JPEG images to 77% of their original size on average. Lepton replaces the lowest layer of baseline JPEG compression-a Huffman code-with a parallelized arithmetic code, so that the exact bytes of the original JPEG file can be recovered quickly. Lepton matches the compression efficiency of the best prior work, while decoding more than nine times faster and in a streaming manner. Lepton has been released as open-source software and has been deployed for a year on the Dropbox file-storage backend. As of February 2017, it had compressed more than 203 PiB of user JPEG files, saving more than 46 PiB.

연구 동기 및 목표

• 사용자 데이터를 수정하거나 클라이언트 측 변경 없이 대규모 파일 저장 시스템 내 JPEG 이미지의 저장소 점유 면적을 줄이기.
• 최고 수준의 이전 작업과 비교해 압축 효율성을 확보하면서도, 복구 속도를 크게 향상시키고 스트리밍 및 저지연 복구를 가능하게 하기.
• 원본 JPEG 바이트를 정확히 복원할 수 있도록 라운드트립 투명성을 보장하며, 소프트웨어 업데이트나 손상된 입력 데이터가 있는 경우에도 복원 가능하게 하기.
• 분산 저장 시스템에서 서버 간 파일을 분할 저장하는 데 핵심적인 역할을 하는, 압축된 JPEG 파일의 임의의 부분 문자열에 독립적이고 랜덤 액세스를 가능하게 하기.
• 백엔드 서버에서 자원 사용을 최소화하고 보안 강화 및 강력한 장애 내성 확보를 바탕으로 대규모로 시스템을 구축하기.

제안 방법

• 실제 Dropbox JPEG 이미지 대량 데이터 코퍼스에 최적화된 사용자 지정 산술 부호화 방식으로 기존 JPEG의 허프만 부호화 계층을 대체하기.
• 조기 출력과 병렬 처리를 가능하게 하는 '허프만 이관 단어'를 도입하여 스트리밍 및 멀티스레드 복구 파이프라인 설계하기.
• 보안 취약점을 방지하기 위해 제한된 시스템 호출(읽기, 왼기, 종료, sigreturn)과 사전 할당된 메모리만을 허용하는 제한된 실행 환경 구현하기.
• 메모리 사용을 제한하기 위해 행 단위 처리 모델을 사용하여 복구 중 전체 파일을 RAM에 로드하지 않기.
• 결정론적이고 버전 관리된 형식과 '자격 있는 빌드' 시스템을 도입하여 소프트웨어 업데이트 간 호환성 보장하기.
• 파일 저장 스택에 투명한 계층으로 배포하여 업로드 시 자동으로 압축하고 기존 파일에 대해 점진적 재압축 수행하기.

실험 결과

연구 질문

• RQ1 분산 및 스파티드 저장 환경에서, 형식 전용 손실 없는 압축 시스템이 고압축 효율성과 밀리초 이내의 복구 지연을 동시에 달성할 수 있는가?
• RQ2 소프트웨어 업데이트 후에도 원본 JPEG의 비트 수준 정확한 복원이 보장되는, 완전히 클라이언트에 투명한 손실 없는 이미지 압축 시스템을 어떻게 설계할 수 있는가?
• RQ3 분산 백엔드 환경에서 임의의 파일 부분 문자열을 스트리밍하고 저지연으로 복구하기 위해 필요한 아키텍처 및 구현 기법은 무엇인가?
• RQ4 고처리량, 대규모 생산 환경에서 사용자 생성 JPEG을 신뢰할 수 없는 입력으로 처리할 때 보안과 메모리 안정성을 어떻게 확보할 수 있는가?
• RQ5 수백 페타바이트의 사용자 데이터에 걸쳐 신규 압축 시스템을 대규모로 배포할 때 발생하는 운영적 과제는 무엇인가?

주요 결과

• Lepton은 1500억 개의 사용자 파일을 대상으로 평균 23%의 크기 감소를 달성하여, 총 203 PiB의 입력 데이터에서 46 PiB 이상의 저장소 절약을 이뤘다.
• Lepton의 복구 속도는 이전 도구인 PackJPG 대비 9배 이상 빠르며, 첫 번째 바이트 도착 시간과 마지막 바이트 도착 시간 모두 크게 향상되었다.
• 허프만 이관 단어를 도입함으로써 스트리밍 및 멀티스레드 복구가 가능해졌으며, 이는 조기 출력과 병렬 처리를 가능하게 했다.
• 엄격한 설계에도 불구하고, 배포 과정에서 인간 실수로 인한 구성 오류로 인해 2시간 동안 서비스 품질 저하가 발생했고, 18개 파일을 재압축해야 했으며, 이는 운영 리스크를 드러냈다.
• 1년간의 생산 환경 운영 기간 동안 시스템은 완전한 투명성과 정확성을 유지했으며, 복구 실패나 데이터 손실 사례는 전혀 발생하지 않았다.
• 배포 과정에서 문서화, 온보딩, 구성 관리 분야의 심각한 격차가 드러나, 향후 유사 사고를 방지하기 위한 개선 조치가 이뤄졌다.