[논문 리뷰] Teaching machines to understand data science code by semantic enrichment of dataflow graphs

Evan Patterson, Ioana Baldini외 2명|arXiv (Cornell University)|2018. 07. 16.

Scientific Computing and Data Management참고 문헌 41인용 수 6

한 줄 요약

이 논문은 도메인 특화 온톨로지(ontology)를 사용하여 데이터 플로우 그래프를 의미론적으로 풍부하게 하는 방법을 제안한다. 이 방법은 정적 및 동적 프로그램 분석을 조합하여 원시 데이터 플로우 그래프를 생성하고, 새로운 온톨로지 언어(Monocl)와 데이터 과학 온톨로지(ontology)를 통해 이를 의미론적 플로우 그래프로 변환함으로써, 인공지능 시스템이 클러스터링과 데이터 변환과 같은 과학적 개념을 기반으로 코드를 이해할 수 있도록 한다.

ABSTRACT

Your computer is continuously executing programs, but does it really understand them? Not in any meaningful sense. That burden falls upon human knowledge workers, who are increasingly asked to write and understand code. They deserve to have intelligent tools that reveal the connections between code and its subject matter. Towards this prospect, we develop an AI system that forms semantic representations of computer programs, using techniques from knowledge representation and program analysis. To create the representations, we introduce an algorithm for enriching dataflow graphs with semantic information. The semantic enrichment algorithm is undergirded by a new ontology language for modeling computer programs and a new ontology about data science, written in this language. Throughout the paper, we focus on code written by data scientists and we locate our work within a larger movement towards collaborative, open, and reproducible science.

연구 동기 및 목표

• 특히 데이터 과학 워크플로우에서 기계의 이해 부족 문제를 해결한다.
• 문법적 수준을 넘어서 통계 모델링 및 데이터 변환과 같은 도메인 특화 개념과 연결하여 AI 시스템이 데이터 과학 코드를 이해할 수 있도록 한다.
• 프로그래머의 주석이 필요 없이도 원시 코드를 의미론적으로 의미 있는 표현으로 변환하는 확장 가능한 자동화 시스템을 개발한다.
• 프로그래밍 구조를 과학적 추상화로 모델링하기 위해 도메인 특화 온톨로지(데이터 과학 온톨로지)와 형식 언어(Monocl)를 개발한다.
• 워크플로우의 의미적 의도를 캡처함으로써 요약, 시각화 또는 추론이 가능한 도구를 지원한다.

제안 방법

• 정적 및 동적 프로그램 분석을 사용하여 데이터 의존성과 제어 흐름을 캡처함으로써 원시 데이터 플로우 그래프를 생성한다.
• 프로그램 개념과 함수를 모델링하기 위한 최소화된, 강타입의 기능적 언어인 새로운 온톨로지 언어인 Monocl를 정의한다.
• 구체적인 프로그래밍 구조(예: scikit-learn 추정기, pandas 함수)를 추상적인 과학적 개념(예: 모델 피팅, 데이터 테이블 읽기)으로 매핑하기 위해 Monocl로 데이터 과학 온톨로지를 설계한다.
• 원시 플로우 그래프를 의미론적 플로우 그래프로 변환하기 위해 데이터 과학 온톨로지를 사용하여 함수 주석을 해결하는 의미론적 풍부화 알고리즘을 개발한다.
• 함수 주석을 사용하여 구체적인 함수(예: R의 `kmeans`, scikit-learn의 `fit`)를 추상적인 프로그램 구성 요소(예: "통계 모델 피팅")와 연결한다.
• Monocl에서 상속과 강제 변환(coercion)을 통합하여 다양한 소프트웨어 API를 통합된 의미론적 개념으로의 매핑을 유연하게 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 과학 코드에서 도메인 특화 과학적 개념을 반영하기 위해 데이터 플로우 그래프를 어떻게 의미론적으로 풍부화할 수 있는가?
• RQ2 저수준 코드 요소와 고수준 데이터 과학 추상화 사이의 관계를 표현하기 위해 어떤 형식 언어가 필요한가?
• RQ3 기계 학습 시스템이 인간의 메타데이터 주석 없이도 데이터 과학 스크립트의 의미적 의도를 자동으로 추론할 수 있는가?
• RQ4 공통적인 과학적 개념 아래에서 다양한 프로그래밍 인터페이스(예: Python, R, Pandas 및 Scikit-learn 라이브러리 등)를 통합된 온톨로지로 모델링할 수 있는 정도는 어느 정도인가?
• RQ5 코드의 의미론적 표현이 워크플로우 요약 또는 자동 시각화와 같은 실용적 응용을 지원하는 방법은 무엇인가?

주요 결과

• 의미론적 풍부화 알고리즘이 원시 데이터 플로우 그래프를 과학적 의도를 반영하는 해석 가능한 의미론적 플로우 그래프로 성공적으로 변환한다.
• 데이터 과학 온톨로지는 다양한 데이터 과학 라이브러리(예: SciPy, scikit-learn, R의 stats)를 "k-means 클러스터링"과 "모델 피팅"과 같은 공통된 추상 개념으로 일관되게 매핑할 수 있도록 한다.
• Monocl 온톨로지 언어는 제품 타입, 단위 타입, 암묵적 강제 변환을 포함한 상속을 지원하여 프로그램 타입과 함수를 다소 유연하고 조합 가능한 방식으로 모델링할 수 있다.
• 시스템은 실제 데이터 과학 워크플로우, 특히 생물의학 데이터 과학 도전 과제에서의 적용을 통해 의미론적 표현이 자동으로 생성될 수 있음을 입증한다.
• 이 방법은 AI 에이전트가 도메인 개념 기반으로 데이터 과학 코드를 이해하고 추론할 수 있도록 하여, 과학적 의도에 기반한 요약, 디버깅 또는 코드 생성 도구의 개발을 가능하게 한다.
• 데이터 과학 온톨로지 및 시스템 코드의 오픈소스 공개는 재현 가능성과 생물정보학 또는 계산 신경과학과 같은 다른 과학 분야로의 확장 가능성을 지원한다.