[논문 리뷰] The OpenCPU System: Towards a Universal Interface for Scientific Computing through Separation of Concerns

Jeroen Ooms|arXiv (Cornell University)|2014. 06. 04.

Data Analysis with R참고 문헌 19인용 수 47

한 줄 요약

OpenCPU 시스템은 HTTP 기반 원격 프로시저 호출(RPC)을 사용하여 데이터 분석 관련 사항을 애플리케이션 로직에서 분리함으로써 과학 계산을 위한 통합적이고 언어에 구애받지 않는 인터페이스를 제안한다. 이는 R을 포함한 통계 계산을 웹 애플리케이션, 파이프라인, 대규모 데이터 시스템에 보안성, 상태 비저장성, 재현 가능성 있게 통합할 수 있도록 하며, 출력물, 그래픽, 데이터를 봉인하는 일시적이고 고유한 키를 통해 상호운용성을 달성한다. 이로써 R이나 시스템 내부 구조에 깊이 이해할 필요 없이도 통합이 가능하다.

ABSTRACT

Applications integrating analysis components require a programmable interface which defines statistical operations independently of any programming language. By separating concerns of scientific computing from application and implementation details we can derive an interoperable API for data analysis. But what exactly are the concerns of scientific computing? To answer this question, the paper starts with an exploration of the purpose, problems, characteristics, struggles, culture, and community of this unique branch of computing. By mapping out the domain logic, we try to unveil the fundamental principles and concepts behind statistical software. Along the way we highlight important problems and bottlenecks that need to be addressed by the system in order to facilitate reliable and scalable analysis units. Finally, the OpenCPU software is introduced as an example implementation that builds on HTTP and R to expose a simple, abstracted interface for scientific computing.

연구 동기 및 목표

• 제3자 애플리케이션에 통계 계산을 통합하기 위한 확장 가능하고 상호운용 가능한 인터페이스의 부족을 해결하기 위해.
• 과학 계산의 核심적 고려사항을 애플리케이션, 보안, 데이터 관리 관련 고려사항에서 분리하고 식별하기 위해.
• 다양한 시스템 간에 신뢰성 있고 보안적인 통계 기능 통합을 가능하게 하는 보편적이고 언어에 구애받지 않는 API를 설계하기 위해.
• 통계 소프트웨어와 애플리케이션 로직 간의 결합도를 줄여 R이나 시스템 내부 구조에 특화된 전문 지식이 필요로 하는 정도를 최소화하기 위해.
• 출력물과 데이터에 대한 공유 가능한 키 기반 네임스페이스를 통해 협업 및 재현 가능한 분석을 가능하게 하기 위해.

제안 방법

• 시스템은 HTTP 기반 원격 프로시저 호출(RPC)을 사용하여 R 함수를 상태 비저장, 상태 기반 서비스로 노출한다.
• 각 RPC 응답은 결과, 그래픽, 경고, 로그를 포함한 모든 출력물에 대한 참조로 기능하는 고유한 일시적 키를 반환한다.
• 서버는 자원이 키로 식별되며 덮어쓰기가 불가능한 보편적이고 불변의 네임스페이스를 관리한다.
• 클라이언트는 JSON, form-data, URL 인코딩, 또는 Protocol Buffers 등의 다양한 형식으로 인수를 전달할 수 있으며, 자동으로 형식을 해석한다.
• 파일은 multipart/form-data를 통해 업로드되며, 자동으로 함수 호출에 파일 경로로 할당된다.
• 개인정보 보호는 키 기반 접근 제어를 통해 구현되며, 오직 키를 가진 클라이언트만 자원을 검색하거나 재사용할 수 있어 기밀성과 무결성을 보장한다.

실험 결과

연구 질문

• RQ1 확장 가능하고 상호운용 가능한 통합을 가능하게 하기 위해 분리되어야 할 과학 계산의 기본 고려사항은 무엇인가?
• RQ2 분석 로직을 애플리케이션 및 시스템 관련 고려사항에서 분리하기 위해 통계 계산을 위한 보편적 인터페이스는 어떻게 설계할 수 있는가?
• RQ3 공유 환경에서 원격 통계 계산의 보안성, 재현 가능성, 재사용성을 보장하기 위한 메커니즘은 무엇인가?
• RQ4 사용자 계정 없이도 키 기반 시스템이 기존 인증 방식을 대체하면서도 데이터 기밀성과 접근 제어를 유지할 수 있는가?
• RQ5 다양한 데이터 형식과 프로그래밍 언어가 과학 계산을 위한 단일 추상화 인터페이스를 통해 어떻게 상호운용할 수 있는가?

주요 결과

• OpenCPU 시스템은 과학 계산 로직을 애플리케이션 관련 고려사항에서 성공적으로 분리하여, R에 깊이 이해할 필요 없이도 웹 애플리케이션과 파이프라인에 통합할 수 있도록 한다.
• 각 원격 함수 호출은 결과, 그래픽, 로그를 포함한 모든 출력물에 대한 참조로 기능하는 고유한 일시적 키를 반환하며, 이는 완전한 재현 가능성을 보장한다.
• 시스템은 JSON, form-data, URL 인코딩, Protocol Buffers 등의 다양한 입력 형식을 지원하여 다양한 클라이언트와의 통합 유연성을 확보한다.
• 파일은 표준 HTML 폼 제출을 통해 업로드되며 자동으로 함수 인수에 바인딩되어 파일 기반 분석 워크플로우를 원활하게 구현할 수 있다.
• 키 기반 접근 모델은 기밀성을 보장한다: 오직 요청을 초기화한 클라이언트만 결과를 접근할 수 있으며, 키를 공유함으로써 사용자 계정 없이도 협업을 가능하게 한다.
• 시스템은 모든 자원이 키로 전 세계적으로 접근 가능한 사회적 협업 기반 분석 플랫폼을 제공하여 사용자 간 및 시스템 간 자원 재사용과 재현 가능성을 촉진한다.