[논문 리뷰] Fragmentation in Large Object Repositories

Russell Sears, Catharine van Ingen|arXiv (Cornell University)|2006. 12. 21.

Advanced Data Storage Technologies참고 문헌 20인용 수 8

한 줄 요약

이 논문은 스케일러블 오브젝트 스토어와 멀티미디어 레포지터리에서 get/put 인터페이스에 의존하는 대규모 오브젝트 레포지터리의 분할 현상을 조사한다. SQL Server와 NTFS를 비교한 결과, 오브젝트 크기가 256KB–1MB를 초과할 경우 분할이 성능을 심각하게 저하시며, NTFS가 더 나은 가용 공간 관리로 인해 SQL Server를 능가하는 것으로 나타났다. 연구 결과, 오브젝트 크기의 균일성과 쓰기 요청 크기가 분할에 크게 영향을 미치며, 간단한 인터페이스 변경만으로도 저장소 예측 가능성 향상과 유지보수 감소가 가능하다는 점을 밝혔다.

ABSTRACT

Fragmentation leads to unpredictable and degraded application performance. While these problems have been studied in detail for desktop filesystem workloads, this study examines newer systems such as scalable object stores and multimedia repositories. Such systems use a get/put interface to store objects. In principle, databases and filesystems can support such applications efficiently, allowing system designers to focus on complexity, deployment cost and manageability. Although theoretical work proves that certain storage policies behave optimally for some workloads, these policies often behave poorly in practice. Most storage benchmarks focus on short-term behavior or do not measure fragmentation. We compare SQL Server to NTFS and find that fragmentation dominates performance when object sizes exceed 256KB-1MB. NTFS handles fragmentation better than SQL Server. Although the performance curves will vary with other systems and workloads, we expect the same interactions between fragmentation and free space to apply. It is well-known that fragmentation is related to the percentage free space. We found that the ratio of free space to object size also impacts performance. Surprisingly, in both systems, storing objects of a single size causes fragmentation, and changing the size of write requests affects fragmentation. These problems could be addressed with simple changes to the filesystem and database interfaces. It is our hope that an improved understanding of fragmentation will lead to predictable storage systems that require less maintenance after deployment.

연구 동기 및 목표

• 현대 스토리지 인터페이스를 사용하는 대규모 오브젝트 레포지터리에서 분할이 성능에 미치는 영향을 이해하는 것.
• 데이터베이스 및 파일시스템 시스템에서 오브젝트 크기, 가용 공간 비율, 쓰기 요청 크기의 영향을 분할에 평가하는 것.
• 분할을 줄이고 시스템 예측 가능성을 향상시킬 수 있는 실용적인 인터페이스 수준의 변경 사항을 식별하는 것.
• 다양한 워크로드와 오브젝트 특성에서 SQL Server와 NTFS의 성능을 비교하는 것.

제안 방법

• SQL Server와 NTFS에서 get/put 인터페이스를 사용한 오브젝트 스토리지 워크로드 벤치마킹.
• 소형에서 대형 오브젝트(최대 1MB)로의 크기 변화에 따라 분할 영향을 집중적으로 분석하며 성능 저하 측정.
• 가용 공간 비율과 오브젝트 크기 비율 간의 관계 분석을 통해 분할 영향 평가.
• 쓰기 요청 크기와 오브젝트 크기를 균일하게 변화시켜 분할 행동 변화 관찰.
• 통제된 실험을 통해 오브젝트 크기와 가용 공간의 영향을 I/O 성능에 고립하여 분석.
• 지속적인 워크로드 하에서 장기적인 성능 곡선 비교를 통해 시스템 고유의 행동 특성 식별.

실험 결과

연구 질문

• RQ1 오브젝트 크기가 대규모 오브젝트 레포지터리에서 분할과 성능에 어떤 영향을 미치는가?
• RQ2 가용 공간과 오브젝트 크기 비율이 분할 관련 성능 저하에 어떤 역할을 하는가?
• RQ3 SQL Server와 NTFS와 같은 다양한 스토리지 시스템이 다양한 워크로드에서 분할을 어떻게 처리하는가?
• RQ4 균일한 오브젝트 크기 또는 쓰기 요청 크기가 분할을 얼마나 악화시키는가?
• RQ5 간단한 인터페이스 수정이 분할을 줄이고 시스템 예측 가능성을 향상시킬 수 있는가?

주요 결과

• SQL Server와 NTFS 모두에서 오브젝트 크기가 256KB–1MB를 초과할 경우 분할이 성능 저하의 주요 원인이 된다.
• NTFS는 특히 오브젝트 크기와 가용 공간 비율 변화가 큰 상황에서 SQL Server보다 분할을 더 효과적으로 처리한다.
• 동일한 크기의 오브젝트를 저장할 경우 혼합 워크로드가 없더라도 심각한 분할이 발생한다.
• 쓰기 요청 크기의 변경이 직접적으로 분할 수준에 영향을 미치며, 이는 인터페이스 수준의 민감성을 시사한다.
• 가용 공간 비율과 오브젝트 크기 비율은 단순한 가용 공간 비율을 넘어서 분할 영향을 결정하는 핵심 요소이다.
• 파일시스템과 데이터베이스 인터페이스에 대한 단순한 변경만으로도 분할과 유지보수 오버헤드를 크게 줄일 수 있다.