[論文レビュー] CORAL: COde RepresentAtion Learning with Weakly-Supervised Transformers for Analyzing Data Analysis

Ge Zhang, Mike A. Merrill+3 more|arXiv (Cornell University)|Aug 28, 2020

Software Engineering Research被引用数 4

ひとこと要約

CORALは、抽象構文木からのコードと周囲の自然言語コメントを統合的に符号化することで、Jupyterノートブックのセルをデータ分析段階（例：インポート、グルーピング、探索、モデリング、評価）に分類する弱教師付きのトランスフォーマー基盤モデルを提案する。このモデルは、熟練したヒューリスティクスよりも38%の精度向上を達成し、11万8千件のノートブックの大規模分析を可能にし、ノートブックの構成が出版の引用影響と相関していることを明らかにした。

ABSTRACT

Large scale analysis of source code, and in particular scientific source code, holds the promise of better understanding the data science process, identifying analytical best practices, and providing insights to the builders of scientific toolkits. However, large corpora have remained unanalyzed in depth, as descriptive labels are absent and require expert domain knowledge to generate. We propose a novel weakly supervised transformer-based architecture for computing joint representations of code from both abstract syntax trees and surrounding natural language comments. We then evaluate the model on a new classification task for labeling computational notebook cells as stages in the data analysis process from data import to wrangling, exploration, modeling, and evaluation. We show that our model, leveraging only easily-available weak supervision, achieves a 38% increase in accuracy over expert-supplied heuristics and outperforms a suite of baselines. Our model enables us to examine a set of 118,000 Jupyter Notebooks to uncover common data analysis patterns. Focusing on notebooks with relationships to academic articles, we conduct the largest ever study of scientific code and find that notebook composition correlates with the citation count of corresponding papers.

研究の動機と目的

• 高価な熟練者によるアノテーションを必要とせずに、科学的コードのスケーラブルかつ詳細な分析を可能にすること。
• 単純なヒューリスティクスからの弱教師付き学習に基づいて、コードスニペットをデータ分析パイプラインの段階に分類するモデルを開発すること。
• 数百万のJupyterノートブックにわたる科学的データ分析のパターンを解明し、それらを出版の影響と関連付けること。
• コード段階分類の評価を目的とした、1,840セルの公開可能なデータセットを構築すること。

提案手法

• CORALは、自然言語コメントと抽象構文木からの構造的コードを統合的にモデル化するための新しいマスク付きアテンション機構を用いる。
• 高価な手動ラベリングを回避するため、5つの単純なヒューリスティクスに基づく弱教師付き学習目的を採用する。
• 表現学習の向上を図るため、弱教師付き学習と非教師付きトピックモデリングをマルチタスク最適化フレームワークで統合する。
• 事前学習済みのトランスフォーマー・アーキテクチャを活用し、段階分類のためのコードとコメントの共同表現を学習する。
• グラフニューラルネットワーク部はコード構造を処理し、構文木の情報を文脈的なコメントと統合する。
• 評価のための目的でのみ使用される、100のノートブックからなる1,840セルの熟練者アノテート済み新データセット上で、モデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 科学的ノートブックは、そのデータ分析ワークフローにおいて一貫した順序的パターンに従っているか？
• RQ2 ノートブック内のコード段階の分布は、関連する学術論文の引用数にどのように関連しているか？
• RQ3 単純なヒューリスティクスからの弱教師付き学習は、熟練者によるラベルなしで、コード段階の高精度分類を可能にするか？
• RQ4 ドメイン別に、ノートブックの内容と出版の影響の相関に違いがあるか？

主な発見

• CORALは、熟練者によるヒューリスティクスよりも、コードのデータ分析段階分類において38%の精度向上を達成した。
• 関連する学術論文にリンクされたノートブックは、リンクのないノートブックよりも平均で21.88倍多くの引用を受ける。
• 段階エントロピー（段階分布の均一性）が1標準偏差上昇すると、予想引用数が2.11倍に増加する。
• コンピュータサイエンスおよび数学分野では、データグルーピングコードの割合が高いと引用数が低くなる傾向があるが、生物学分野ではこの傾向は見られない。
• 探索段階のコードが多数含まれるノートブックは、引用数が35%少ない傾向があり、これらは未完成または探索的作業を示している可能性がある。
• モデルにより、11万8千件のJupyterノートブックの大規模分析が可能となり、ほとんどのセルが異なる段階に移行していることが明らかになった。これは、動的で非線形的なデータ分析プロセスであることを示している。