[논문 리뷰] CORAL: COde RepresentAtion Learning with Weakly-Supervised Transformers for Analyzing Data Analysis

Ge Zhang, Mike A. Merrill외 3명|arXiv (Cornell University)|2020. 08. 28.

Software Engineering Research인용 수 4

한 줄 요약

CORAL은 약한 감독 기반의 트랜스포머 기반 모델로, 추상구문트리에서 추출한 코드와 주변 자연어 주석을 동시에 인코딩하여 Jupyter 노트북 셀을 데이터 분석 단계(예: 임포트, 워글링, 탐색, 모델링, 평가)로 분류한다. 이 모델은 전문가 히우리스틱보다 38% 높은 정확도를 달성했으며, 118,000개의 노트북을 대규모로 분석함으로써 노트북 구성과 논문 게재 인용 영향도 간의 상관관계를 규명했다.

ABSTRACT

Large scale analysis of source code, and in particular scientific source code, holds the promise of better understanding the data science process, identifying analytical best practices, and providing insights to the builders of scientific toolkits. However, large corpora have remained unanalyzed in depth, as descriptive labels are absent and require expert domain knowledge to generate. We propose a novel weakly supervised transformer-based architecture for computing joint representations of code from both abstract syntax trees and surrounding natural language comments. We then evaluate the model on a new classification task for labeling computational notebook cells as stages in the data analysis process from data import to wrangling, exploration, modeling, and evaluation. We show that our model, leveraging only easily-available weak supervision, achieves a 38% increase in accuracy over expert-supplied heuristics and outperforms a suite of baselines. Our model enables us to examine a set of 118,000 Jupyter Notebooks to uncover common data analysis patterns. Focusing on notebooks with relationships to academic articles, we conduct the largest ever study of scientific code and find that notebook composition correlates with the citation count of corresponding papers.

연구 동기 및 목표

• 비용이 많이 들는 전문가 레이블링이 없이도 대규모이고 깊이 있는 과학적 코드 분석을 가능하게 하기 위해.
• 단순한 히우리스틱에서 유도된 약한 감독만을 사용하여 코드 스니펫을 데이터 분석 파이프라인 단계로 분류하는 모델을 개발하기 위해.
• 수백만 개의 Jupyter 노트북을 대상으로 과학적 데이터 분석 패턴을 규명하고, 이를 논문의 인용 영향도와 연관지기 위해.
• 코드 단계 분류 평가를 위해 공개 가능한 1,840개의 레이블링된 노트북 셀 데이터셋을 구축하기 위해.

제안 방법

• CORAL은 자연어 주석과 추상구문트리에서 유도된 구조적 코드를 동시에 모델링하기 위해 새로운 마스킹 어텐션 메커니즘을 사용한다.
• 비용이 많이 드는 수작업 레이블링을 대체하기 위해 다섯 가지 단순한 히우리스틱 기반의 약한 감독 학습 목표를 적용한다.
• 대표성 학습을 향상시키기 위해 약한 감독과 비지도 주제 모델링을 다중 작업 최적화 프레임워크에 통합한다.
• 사전 훈련된 트랜스포머 아키텍처를 활용해 단계 분류를 위한 코드와 주석의 공동 표현을 학습한다.
• 그래프 신경망 모듈이 코드 구조를 처리하여 문맥적 주석과 함께 구문 트리 정보를 통합한다.
• 모델은 평가 목적 전용으로 100개의 노트북에서 유래한 1,840개의 전문가 레이블링 셀로 미세조정된다.

실험 결과

연구 질문

• RQ1 과학적 노트북은 데이터 분석 워크플로우에서 일관된 순차적 패턴을 따르는가?
• RQ2 노트북의 코드 단계 분포는 관련 학술 논문의 인용 영향도와 어떻게 관련이 있는가?
• RQ3 단순한 히우리스틱에서 유도된 약한 감독이 전문가 레이블 없이도 높은 정확도의 코드 단계 분류를 가능하게 하는가?
• RQ4 노트북 콘텐츠와 논문 영향도 간의 상관관계에서 도메인 특화 차이가 존재하는가?

주요 결과

• CORAL은 코드를 데이터 분석 단계로 분류하는 데 있어 전문가가 제공한 히우리스틱보다 38% 높은 정확도를 달성했다.
• 논문과 연결된 노트북은 연결되지 않은 노트북보다 평균적으로 21.88배 더 많은 인용을 받는다.
• 단계 엔트로피(단계 분포의 균일성)가 한 표준편차 증가할 경우 기대 인용 수가 2.11배 증가한다.
• 컴퓨터 과학 및 수학 분야에서는 데이터 워글링 코드 비율이 높을수록 인용 수가 낮아지지만, 생물학 분야에서는 이러한 경향이 관찰되지 않는다.
• 탐색 단계 코드 비율이 높은 노트북는 평균적으로 35% 적은 인용을 받는다. 이는 이러한 노트북가 완료되지 않은 또는 탐색적 작업을 반영할 수 있음을 시사한다.
• 모델을 통해 118,000개의 Jupyter 노트북를 대규모로 분석한 결과, 대부분의 셀이 다른 단계로 전이됨을 확인했으며, 이는 동적인 비선형적 데이터 분석 과정임을 나타낸다.