[論文レビュー] DLPaper2Code: Auto-generation of Code from Deep Learning Research Papers

Akshay Sethi, Anush Sankaran+3 more|arXiv (Cornell University)|Nov 9, 2017

Software Engineering Research被引用数 7

ひとこと要約

DLPaper2Code は、深層学習研究論文の図を分析することで、機械可読のコードを自動生成するシステムを提案する。事前学習済み VGG19 からの特徴量を用いた深層ニューラルネットワーク分類器を用い、深層学習図と非ML図を分類する際の正確度が 93.7%、5 種類の図タイプの細分化分類では 88.6% を達成し、コード生成のための DL モデル図の解析と解釈において優れた性能を示した。

ABSTRACT

With an abundance of research papers in deep learning, reproducibility or adoption of the existing works becomes a challenge. This is due to the lack of open source implementations provided by the authors. Further, re-implementing research papers in a different library is a daunting task. To address these challenges, we propose a novel extensible approach, DLPaper2Code, to extract and understand deep learning design flow diagrams and tables available in a research paper and convert them to an abstract computational graph. The extracted computational graph is then converted into execution ready source code in both Keras and Caffe, in real-time. An arXiv-like website is created where the automatically generated designs is made publicly available for 5,000 research papers. The generated designs could be rated and edited using an intuitive drag-and-drop UI framework in a crowdsourced manner. To evaluate our approach, we create a simulated dataset with over 216,000 valid design visualizations using a manually defined grammar. Experiments on the simulated dataset show that the proposed framework provide more than $93\%$ accuracy in flow diagram content extraction.

研究の動機と目的

• 論文に掲載されたニューラルネットワークの視覚的表現を解釈することで、深層学習研究論文の図から自動的にコードを生成することを目的とする。
• 学術論文に一般的に見られる、構造のない多様な視覚的図タイプから、構造化されたモデル情報を抽出する課題に対処することを目的とする。
• 研究論文内の他の科学的図と区別して、深層学習モデルの図を識別できる堅牢な分類システムの開発を目的とする。
• 具体的な図タイプ（例：2D ボックス、3D ボックス、パイプライン図）の細分化分類を可能にし、正確なコード再構築を支援することを目的とする。
• 実世界の研究論文データを用いて、複数の分類器の粗い分類および細分化類分類タスクにおける性能を評価することを目的とする。

提案手法

• 事前学習済み VGG19 モデルの fc2 層を用いて、学術論文から抽出した 30,987 枚の図から視覚的特徴量を抽出する。
• これらの特徴量を用いて、2 階層の隠れ層を持つ順方向ニューラルネットワーク（NNet）分類器を学習させ、深層学習図と非ML図を区別する。
• 同じ NNet 分類器を用いて、5 クラスの細分化類分類（ニューロン図、2D ボックス、スタックド2D ボックス、3D ボックス、パイプライン図）を実行する。
• 粗い分類および細分化類分類の両タスクにおいて、6 つのベースライン分類器（ナイーブベイズ、決定木、ロジスティック回帰、RDF、RBF カーネルを用いた SVM）と NNet の性能を比較する。
• すべての分類タスクにおいて、学習・検証・テストに 60-20-20 の分割を適用し、信頼性の高い性能評価を確保する。
• 視覚的分析と段階的フローディテクションアルゴリズムを活用して、Keras および Caffe の視覚化図から構造的情報を抽出する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの分類器は、研究論文に見られる他の図タイプと区別して、深層学習モデル図を正確に識別できるか？
• RQ2 学術論文から抽出した特定の深層学習図タイプ（例：2D ボックス、3D ボックス、パイプライン図）の細分化類分類において、分類器はどの程度の性能を示すか？
• RQ3 視覚的表現から深層学習アーキテクチャ図を識別・分類する際、どの機械学習分類器が最も優れた性能を示すか？
• RQ4 VGG19 のような事前学習モデルからの視覚的特徴量は、後続のコード生成タスクにおける図分類の正確度をどの程度向上できるか？
• RQ5 段階的フローディテクションアルゴリズムは、Keras および Caffe の視覚化図から構造的情報を抽出するのにどの程度効果的か？

主な発見

• NNet 分類器は粗い分類タスクで 93.7% の正確度を達成し、216,000 枚のシミュレートされた深層学習図のうち 205,193 枚を正しく識別した。
• 細分化類分類では 88.6% の正確度を達成し、110 枚のパイプライン図のうち 93 枚、562 枚の 3D ボックス図のうち 87 枚が正しく分類された。
• NNet は、粗い分類および細分化類分類の両タスクにおいて、全 6 つのベースライン分類器を上回り、視覚的特徴量に対する優れた一般化性能を示した。
• NNet の細分化類分類における誤り行列は、2D ボックス（184/210）および 3D ボックス（87/100）タイプで強く、高い適合率と再現率を示した。
• モデルは複雑な視覚的パターンを識別する能力に優れ、5 クラス設定において全分類器の中で最高の F1 スコアを記録した。
• VGG19 の fc2 特徴量の使用により、効果的なトランスファー学習が可能となり、細分化設定ですら限られたアノテーションデータでも高い正確度を達成した。