[논문 리뷰] File system on CRDT

Mehdi Ahmed-Nacer, Stéphane Martin외 1명|arXiv (Cornell University)|2012. 07. 25.

Distributed systems and fault tolerance참고 문헌 12인용 수 3

한 줄 요약

이 논문은 최적의 복제된 분산 파일 시스템에서 강한 최종 일致성을 보장하기 위해 계층적 CRDT 기반 접근법을 제안한다. 파일 시스템을 CRDT 트리로 모델링하고, 특히 이름 충돌에 대해 별도의 레이어를 사용하여 충돌 해결을 수행함으로써 동시 파일 추가를 자동으로 해결할 수 있게 하며, 개발자가 충돌 처리 정책을 선택할 수 있도록 하되, 극단적인 경우 이름 변경이나 수동 사용자 개입이 발생할 수 있는 비용이 수반된다.

ABSTRACT

In this report we show how to manage a distributed hierarchical structure representing a file system. This structure is optimistically replicated, each user work on his local replica, and updates are sent to other replica. The different replicas eventually observe same view of file systems. At this stage, conflicts between updates are very common. We claim that conflict resolution should rely as little as possible on users. In this report we propose a simple and modular solution to resolve these problems and maintain data consistency.

연구 동기 및 목표

• 최적의 복제에서 동시 업데이트로 인한 충돌이 발생하는 분산 파일 시스템에서 강한 최종 일치성을 유지하는 데 도전하는 것.
• CRDT와 모듈화된 레이어를 통해 충돌 해결을 자동화함으로써 사용자 참여를 최소화하는 것.
• 다양한 충돌 해결 전략을 특정 유형의 충돌에 대해 별도로 적용할 수 있는 유연하고 확장 가능한 아키텍처를 제공하는 것.
• 모든 레플리카가 동시적이고 잠재적으로 충돌하는 작업에도 불구하고 동일한 파일 시스템 상태로 수렴하도록 보장하는 것.
• 독립된 운영과 실시간 협업을 지원하면서도 전용 잠금이나 중심화된 조율가 필요로 하지 않는 것.

제안 방법

• 디렉터리 내용을 표현하고 수렴을 보장하기 위해 집합 기반 CRDT를 사용하여 계층적 CRDT 트리로 파일 시스템을 모델링하는 것.
• 경로 적응을 통해 서로 다른 레플리카의 파일 경로를 일관된 글로벌 뷰로 매핑하는 'compact' 정책 레이어 도입.
• 원본 메타데이터가 포함된 파일 이름을 자동으로 변경하거나 파일 유형 기반 알고리즘에 따라 병합함으로써 이름 충돌을 해결하는 'resolve name' 레이어 적용.
• 업데이트 작업에서 충돌 검출을 트리거하고, 최종 일관된 트리 뷰를 유지하기 위해 증분 또는 비증분 계산을 사용하는 것.
• 경로 적응 및 정책 적용을 통해 상태 기반 및 작업 기반 CRDT 의미 체계를 모두 지원하는 것.
• 충돌 유형별로 여러 충돌 해결 전략(예: 자동 병합, 이름 변경, 수동 선택)을 선택할 수 있도록 허용하는 것.

실험 결과

연구 질문

• RQ1 최적의 복제에서 동시 업데이트가 발생할 경우, 분산 파일 시스템은 어떻게 강한 최종 일치성을 유지할 수 있는가?
• RQ2 두 사용자가 동일한 디렉터리에 동일한 이름으로 파일을 동시에 생성할 경우, 어떤 메커니즘이 이름 충돌을 자동으로 해결할 수 있는가?
• RQ3 CRDT는 어떻게 계층적으로 조합되어 서로 다른 유형의 충돌(예: 추가/삭제, 이름 충돌)을 별도로 격리하고 관리할 수 있는가?
• RQ4 자동 충돌 해결과 사용자 개입을 요구하는 복제 간의 상호 교환에서 발생하는 트레이드오프는 무엇인가?
• RQ5 다른 로컬 업데이트를 거친 분리된 레플리카들로부터 일관된 사용자 가시 파일 시스템 트리를 어떻게 재구성할 수 있는가?

주요 결과

• 계층적 CRDT 아키텍처는 충돌을 모듈화된 방식으로 격리하고 해결함으로써 레플리카 간에 강한 최종 일치성을 성공적으로 보장한다.
• 'compact' 정책은 원본이 다른 위치에서 온 업데이트일지라도 경로를 표준 형식으로 적응시킴으로써 레플리카 간 일관된 경로 매핑을 가능하게 한다.
• 이름 레이어는 호환 가능한 파일(예: 동일한 유형 및 병합 가능한 내용)을 자동으로 병합하거나 원본 메타데이터가 포함된 이름을 변경함으로써 동시 파일 추가를 해결한다.
• 충돌 해결 과정에서 파일 이름 변경이 발생할 수 있으며, 이는 충돌이 해결된 후 사용자 혼동을 유발할 수 있어 사용성 측면에서의 트레이드오프를 나타낸다.
• 시스템은 증분 및 비증분 뷰 계산을 모두 지원하여 성능과 일관성 간의 유연한 트레이드오프를 허용한다.
• 자동화가 이루어지더라도 일부 충돌은 여전히 사용자 입력이 필요하므로, 자동 결정에 대한 사용자 인지 메커니즘의 필요성을 강조한다.