[논문 리뷰] Rethinking Abstractions for Big Data: Why, Where, How, and What

Mary Hall, Robert M. Kirby외 7명|arXiv (Cornell University)|2013. 06. 14.

Distributed and Parallel Computing Systems참고 문헌 8인용 수 7

한 줄 요약

이 논문은 현대 데이터의 사전 없이 초월하는 복잡성에 대응하기 위해 기존의 대용량 데이터 시스템, 알고리즘 및 분석에서의 추상화가 부적절하다고 주장한다. 시스템 설계, 알고리즘 모델, 불확실성 관리, 구조적 탐색이라는 네 가지 핵심 과제에 대해 '시클롭스'라는 신화적 비유를 활용하여 대규모로 확장 가능하고 신뢰성 있으며 인간이 이해할 수 있는 대용량 데이터 컴퓨팅을 위한 변혁적이고 다학제적 협업을 재고한다.

ABSTRACT

Big data refers to large and complex data sets that, under existing approaches, exceed the capacity and capability of current compute platforms, systems software, analytical tools and human understanding. Numerous lessons on the scalability of big data can already be found in asymptotic analysis of algorithms and from the high-performance computing (HPC) and applications communities. However, scale is only one aspect of current big data trends; fundamentally, current and emerging problems in big data are a result of unprecedented complexity--in the structure of the data and how to analyze it, in dealing with unreliability and redundancy, in addressing the human factors of comprehending complex data sets, in formulating meaningful analyses, and in managing the dense, power-hungry data centers that house big data. The computer science solution to complexity is finding the right abstractions, those that hide as much triviality as possible while revealing the essence of the problem that is being addressed. The "big data challenge" has disrupted computer science by stressing to the very limits the familiar abstractions which define the relevant subfields in data analysis, data management and the underlying parallel systems. As a result, not enough of these challenges are revealed by isolating abstractions in a traditional software stack or standard algorithmic and analytical techniques, and attempts to address complexity either oversimplify or require low-level management of details. The authors believe that the abstractions for big data need to be rethought, and this reorganization needs to evolve and be sustained through continued cross-disciplinary collaboration.

연구 동기 및 목표

• 기존 추상화와 대용량 데이터의 규모와 복잡성 현실 사이의 갈등을 해소하기 위해.
• 대용량 데이터는 단순히 데이터 양을 넘어서 구조적 복잡성, 신뢰성 부족, 인간의 이해 한계, 에너지 비용을 수반한다는 점을 규명하기 위해.
• 고립된 저수준 추상화에서 벗어나 생산성과 성능을 균형 잡은 통합적이고 스택 전반에 걸친 추상화로의 전환을 제안하기 위해.
• 지속 가능하고 확장 가능한 추상화를 창출하기 위해 시스템, 알고리즘, 데이터 분석 분야 간 협업을 촉진하기 위해.
• 핵심 과제를 네 가지 '시클롭스' 몬스터로 프레임하여 다학제적 해결이 필요한 영웅적인 접근의 필요성을 상징하기 위해.

제안 방법

• 대용량 데이터 과제를 시스템, 알고리즘, 불확실성, 구조라는 네 핵심 영역으로 분류하고, 각각을 신화적 시클롭스로 비유하기 위해.
• 이종적이고 에너지 효율적인 하드웨어를 고려해 고수준의 생산성과 저수준의 성능 제어를 균형 잡은 시스템 추상화를 제안하기 위해.
• 순수한 계산 외에도 통신, 전력, 복원성 등의 새로운 비용을 고려한 알고리즘 모델을 개발하기 위해.
• 다양한 해상도에서 데이터와 결과에 대한 신뢰도를 정량화하고 관리할 수 있는 불확실성 인식 추상화를 도입하기 위해.
• 복잡하고 고차원적인 데이터의 상호작용적이고 다중 척도 탐색을 지원하기 위해 개요+세부 정보 시각화 추상화를 설계하기 위해.
• 인지 과학과 인지적 원칙에 기반한 도메인 특화이면서도 일반화 가능한 시각화 및 분석 도구를 주장하기 위해.

실험 결과

연구 질문

• RQ1 이종 아키텍처에서 프로그래머 생산성과 저수준 성능 제어를 균형 잡는 데 있어 대용량 데이터 시스템의 추상화는 어떻게 설계할 수 있는가?
• RQ2 분산 시스템에서 통신, 에너지, 복원성 등의 새로운 비용을 효과적으로 모델링하고 관리할 수 있는 계산 추상화는 무엇인가?
• RQ3 대용량 데이터의 불확실성은 어떻게 정량화하고 표현하며, 신뢰할 수 있는 분석과 의사결정을 지원하기 위해 시각화할 수 있는가?
• RQ4 고차원적이고 복잡한 데이터에서 과적합을 방지하면서도 저차원의 핵심 구조를 탐색하고 검증할 수 있는 추상화는 무엇인가?
• RQ5 사람의 인지적 및 감각적 한계를 존중하면서도 상호작용적이고 다중 척도 탐색을 지원할 수 있는 시각화 추상화는 어떻게 설계할 수 있는가?

주요 결과

• 데이터 가용성, 확장 가능한 인프라, 경제적 가치의 융합은 대용량 데이터 연구에 있어 유일무이한 다학제적 기회를 창출하였다.
• 시스템, 알고리즘, 시각화 분야의 기존 추상화는 대용량 데이터의 복잡성, 특히 불확실성과 고차원적 구조를 다루는 데 부적절하다.
• MapReduce 모델은 생산성 면에서 유용하지만 복잡한 계산에는 너무 제한적이므로, 더 표현력 있는 알고리즘 추상화의 필요성을 드러낸다.
• 개요+세부 정보 패tern을 활용한 상호작용적 시각화는 인간의 감각적 대역폭을 활용하여 대규모 다차원 데이터 탐색을 효과적으로 가능하게 한다.
• 시스템 추상화, 알고리즘 모델, 불확실성, 구조적 탐색이라는 네 가지 시클롭스 과제는 상호의존적이며 종합적이고 다학제적 해결이 필요하다.
• 효과적인 추상화는 광범위한 용도를 지원할 수 있도록 일반적이면서도 도메인 특화된 요구사항과 분석가 간의 인지적 차이를 충분히 고려할 수 있도록 구체적이어야 한다.