[논문 리뷰] AI Data Wrangling with Associative Arrays

Jeremy Kepner, Vijay Gadepally외 3명|arXiv (Cornell University)|2020. 01. 18.

Graph Theory and Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 인공지능 데이터 워글링을 위한 통합 수학적 프레임워크로 연관 배열 대수를 제안하며, 관계형 데이터베이스, JSON/XML, 스프레드시트와 같은 다양한 데이터 포맷 간에 원활한 변환과 최적화를 가능하게 한다. 이는 데이터 연산을 선형적이고 반합환기반의 시스템으로 모델링하여 결합법칙과 분배법칙과 같은 엄밀한 대수적 성질을 제공한다. 주요 기여는 피벗 테이블, 신경망 계산, 그리고 AI 파이프라인 내 다양한 형식 간 상호운용성을 자연스럽게 지원하는 형식적 기초를 제공한다는 점이다.

ABSTRACT

The AI revolution is data driven. AI "data wrangling" is the process by which unusable data is transformed to support AI algorithm development (training) and deployment (inference). Significant time is devoted to translating diverse data representations supporting the many query and analysis steps found in an AI pipeline. Rigorous mathematical representations of these data enables data translation and analysis optimization within and across steps. Associative array algebra provides a mathematical foundation that naturally describes the tabular structures and set mathematics that are the basis of databases. Likewise, the matrix operations and corresponding inference/training calculations used by neural networks are also well described by associative arrays. More surprisingly, a general denormalized form of hierarchical formats, such as XML and JSON, can be readily constructed. Finally, pivot tables, which are among the most widely used data analysis tools, naturally emerge from associative array constructors. A common foundation in associative arrays provides interoperability guarantees, proving that their operations are linear systems with rigorous mathematical properties, such as, associativity, commutativity, and distributivity that are critical to reordering optimizations.

연구 동기 및 목표

• AI 파이프라인에서 다양한 데이터 포맷 간 번역 과정이 급격히 증가하는 문제를 해결하기 위해.
• 관계형, 계층형(예: JSON/XML), 그리고 표형(스프레드시트) 데이터 표현 방식을 하나의 수학적 모델 아래 통합하기 위해.
• 결합법칙, 교환법칙, 분배법칙과 같은 엄밀한 대수적 성질을 통해 데이터 워크플로우 최적화를 가능하게 하기 위해.
• 피벗 테이블과 신경망 연산이 연관 배열 생성자로부터 자연스럽게 유도됨을 보여주기 위해.
• AI 시스템에서 폴리스토어 및 다중 모델 데이터베이스 간 상호운용성을 위한 형식적 기초를 제공하기 위해.

제안 방법

• 키 튜플(행 및 열 키)을 값이 포함된 반합환에 매핑하는 연관 배열로 데이터를 모델링하여, 집합 및 행렬 연산의 일반화를 가능하게 한다.
• 세 가지 핵심 연산을 사용: 요소 간 덧셈(합집합), 요소 간 곱셈(교집합), 배열 곱셈(변환), 각각 표준 데이터 연산에 대응한다.
• 계층형 데이터(예: JSON, XML)를 순회하고 키-값-삼중항을 생성함으로써 정규화되지 않은 희소 연관 배열로 표현한다.
• 결합법칙, 교환법칙, 분배법칙과 같은 반합환 성질을 활용하여 데이터 파이프라인 내에서 연산의 재정렬 최적화를 가능하게 한다.
• 스프레드시트 연산(예: 피벗 테이블, 합집합, 조인)을 직접 연관 배열 생성자에 매핑하여, 이들이 형식론적 기반에서 자연스럽게 유도됨을 보여준다.
• 학습 데이터 벡터, 신경망 가중치, 추론 계산을 모두 연관 배열 연산으로 모델링함으로써 프레임워크를 AI 파이프라인에 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 하나의 수학적 프레임워크가 AI 파이프라인에서 사용되는 다양한 데이터 표현 방식—관계형, 계층형, 표형—을 통합할 수 있는가?
• RQ2 조인, 합집합, 피벗과 같은 표준 데이터 연산이 연관 배열 대수에서 어떻게 자연스럽게 유도되는가?
• RQ3 연관 배열의 대수적 성질(예: 결합법칙, 분배법칙)을 활용하여 AI 파이프라인 내 데이터 워글링 워크플로우를 최적화할 수 있는가?
• RQ4 JSON 및 XML과 같은 계층형 데이터 포맷을 어떻게 체계적으로 AI 모델 훈련 및 추론에 적합한 형태로 변환할 수 있는가?
• RQ5 연관 배열이 데이터베이스 연산과 신경망 계산 모두에 대한 통합 기반으로 얼마나 효과적으로 기능할 수 있는가?

주요 결과

• 연관 배열 대수는 공통의 반합환 구조를 통해 관계형 데이터베이스, NoSQL 형식, 신경망 연산을 자연스럽게 모델링하는 통합 수학적 기초를 제공한다.
• 주요 데이터 분석 도구인 피벗 테이블이 연관 배열 생성자로부터 직접 유도됨을 보여주며, 데이터 변환의 형식적 기초를 검증한다.
• 결합법칙, 교환법칙, 분배법칙과 같은 엄밀한 대수적 성질을 통해 데이터 워크플로우 최적화가 가능하며, 이는 안전한 연산 재정렬을 지원한다.
• JSON 및 XML과 같은 계층형 데이터 포맷은 순회를 통해 체계적으로 희소 연관 배열로 변환될 수 있으며, 이를 통해 AI 파이프라인에서의 활용이 가능해진다.
• 신경망의 행렬 연산과 데이터베이스의 집합 연산은 모두 연관 배열 연산의 특수한 경우이며, 이는 광범위한 적용 가능성을 보여준다.
• 반합환의 사용을 통해 다양한 작업(예: max-plus, min-plus)에 대한 선택의 유연성이 보장되어, 동일한 형식론 내에서 다양한 AI 및 금융 워크로드를 모델링할 수 있다.