[논문 리뷰] Circumventing Platform Defenses at Scale: Automated Content Replication from YouTube to Blockchain-Based Decentralized Storage

Zeeshan Akram|arXiv (Cornell University)|2026. 03. 18.

Advanced Malware Detection Techniques인용 수 0

한 줄 요약

본 논문은 YouTube-Synch를 제시한다. 이는 YouTube 콘텐츠를 Joystream의 블록체인 기반 저장소로 자동으로 복제하는 생산 시스템으로, YouTube의 방어를 체계적으로 우회하고, 플랫폼 보호에 대한 3.5년간의 진화를 무기 경쟁으로 분석한다.

ABSTRACT

We present YouTube-Synch [1], a production system for automated, large-scale content extraction and replication from YouTube to decentralized storage on Joystream. The system continuously mirrors videos from more than 10,000 creator-authorized channels while handling platform constraints such as API quotas, rate limiting, bot detection, and OAuth token churn. We report a 3.5-year longitudinal case study covering 15 releases and 144 pull requests, from early API dependence to API-free operation. A key finding is that YouTube's defense layers are operationally coupled: bypassing one control often triggers another, creating cascading failures. We analyze three incidents with measured impact: 28 duplicate on-chain objects caused by database throughput issues, loss of over 10,000 channels after OAuth mass expiration, and 719 daily errors from queue pollution. For each, we describe the architectural response. Contributions include a three-generation proxy stack with behavior variance injection, a trust-minimized ownership verification protocol that replaces OAuth for channel control, write-ahead logging with cross-system state reconciliation, and containerized deployment. Results show that sustained architectural adaptation can maintain reliable cross-platform replication at production scale.

연구 동기 및 목표

• YouTube에서 분산 저장 블록체인으로 자동화된 대규모 콘텐츠 복제를 위한 생산 아키텍처를 시연한다.
• 다수의 플랫폼 방어에 걸친 방어 회피의 종적 진화를 문서화한다.
• 플랫폼 정책과 시스템 아키텍처 간의 상호작용을 드러내는 생산 사고를 분석한다.
• 분산 콘텐츠 복제를 위한 신뢰 최소화 검증 및 기여자 식별 접근법을 제안한다.

제안 방법

• 메타데이터를 수집하고, yt-dlp를 통해 콘텐츠를 다운로드하며, 온체인 표현을 생성하고, 분산 저장소에 자산을 업로드하는 두 서비스로 구성된 DAG 기반 처리 파이프라인을 기술한다.
• BullMQ 흐름 작업과 우선순위 스케줄링 알고리즘을 갖춘 네 단계 처리 파이프라인을 구현한다.
• 온체인 상태와 오프체인 처리 사이의 일관성을 유지하기 위해 선행 로그(Write-Ahead Log) 스타일 패턴과 조정을 적용한다.
• API 기반 온보딩에서 영상 기반 검증 프로토콜로의 마이그레이션을 통해 YouTube OAuth로부터 인증을 분리한다.
• 스케일과 회복력을 위한 합성 프록시 기반 탐지 회피 인프라와 다세대 배포를 개발한다.
• 실제 데이터의 원천으로 DynamoDB를 사용하고 컨테이너화된 배포 및 IaC를 통해 확장 가능하고 장애 허용이 높은 운영을 수행한다.

실험 결과

연구 질문

• RQ1 YouTube의 다층 방어를 우회하면서 분산형 콘텐츠 플랫폼이 10,000+ 크리에이터 권한 채널로 확장할 수 있을까?
• RQ2 생산 규모에서 YouTube 콘텐츠를 블록체인 기반 저장소로 연속적이고 자동화된 복제를 가능하게 하는 아키텍처 패턴과 도구는 무엇인가?
• RQ3 다층 방어 결합으로부터 어떤 실패가 발생하며, 이를 장애 허용 설계와 상태 일치화로 어떻게 완화할 수 있는가?
• RQ4 분산 콘텐츠 복제에서 크리에이터 권한 부여를 위해 OAuth를 대체할 수 있는 신뢰 최소화 검증 메커니즘이 있는가?
• RQ5 현실 플랫폼 정책 변화 아래 방어 회피 시스템의 진화 궤적은 어떠한가?

주요 결과

• 시스템은 API 의존적 운영에서 API 쿼터, IP 기반 속도 제한, 봇 탐지 및 OAuth 토큰 생명주기 정책을 점진적으로 우회함으로써 0 API 소비로 진화했다.
• 세 가지 생산 사고가 정량화되었다: 처리량 장애로 인한 28개의 중복 블록체인 객체, 대량의 OAuth 만료로 인한 10,000+ 채널 손실, 대기열 오염으로 인한 일일 719건의 오류.
• 단계별 진화는 방어 계층 간의 결합을 보여주며, 한 계층을 우회하면 다른 계층이 작동하도록 만들어 아키텍처적 대응책을 형성한다.
• 탐지 회피 인프라에는 프록시 진화, 신뢰 최소화된 소유권 검증 프로토콜, 시스템 간 조정을 통한 Write-Ahead Log 기반의 장애 허용, 컨테이너화된 배포가 포함되었다.
• 배포는 10,000+ 채널을 지원하며 배치 트랜잭션, YPP 등급 기반 자원 제어, PAY_PER_REQUEST DynamoDB를 통한 자동 확장과 같은 확장성 메커니즘을 갖추고 있다.
• 실증 평가에는 장애 허용 테스트, 사고 지표 및 3.5년에 걸친 인프라 진화를 포함한다.