[論文レビュー] GRCNN: Graph Recognition Convolutional Neural Network for Synthesizing Programs from Flow Charts

Lin Cheng, Zijiang Yang|arXiv (Cornell University)|Nov 11, 2020

Software Engineering Research被引用数 4

ひとこと要約

本稿では、フローチャート画像からノードとエッジのグラフ構造を同時に認識することで、プログラムを合成する深層畳み込みニューラルネットワーク、GRCNNを提案する。エンド・ツー・エンドで訓練されたGRCNNは、合成データ上で66.4%のプログラム合成精度、実世界の教科書例では63.6%の精度を達成し、エッジ認識が94.1%、ノード認識が67.9%の精度を示し、1枚のフローチャートを約60ミリ秒で処理する。

ABSTRACT

Program synthesis is the task to automatically generate programs based on user specification. In this paper, we present a framework that synthesizes programs from flow charts that serve as accurate and intuitive specifications. In order doing so, we propose a deep neural network called GRCNN that recognizes graph structure from its image. GRCNN is trained end-to-end, which can predict edge and node information of the flow chart simultaneously. Experiments show that the accuracy rate to synthesize a program is 66.4%, and the accuracy rates to recognize edge and nodes are 94.1% and 67.9%, respectively. On average, it takes about 60 milliseconds to synthesize a program.

研究の動機と目的

• 形式的または例に基づく仕様ではなく、直感的で視覚的なフローチャートからプログラム合成を可能にすること。
• 深層学習を用いて、フローチャート画像からのノードおよびエッジの正確なグラフ構造認識の課題に対処すること。
• 単一の画像入力からノードの内容とエッジの接続を同時に予測する統合的かつエンド・ツー・エンドの深層学習フレームワークを開発すること。
• フローチャートを正確で使いやすい仕様としてプログラム合成に用いることの妥当性と性能を評価すること。

提案手法

• GRCNNは、リサイズされたフローチャート画像から共通の特徴表現を抽出するために共有バックボーン畳み込みニューラルネットワークを用いる。
• ネットワークは、バウンディングボックスによるノードの局所化を目的とする検出ヘッドと、シーケンスベースのデコーダーを用いてノードのテキスト内容を予測する認識ヘッドを有する。
• エッジ予測ヘッドは、すべてのノードペアに対して分類ヘッドを用いて接続を予測することで、隣接行列を生成する。
• ノード検出、テキスト認識、エッジ分類の損失を組み合わせた統合損失関数を用いて、エンド・ツー・エンドでモデルを訓練する。
• 局所化のロバスト性を向上させるために、空間変換ネットワーク（STN）が適用されているが、アブレーション実験ではわずかにエッジ認識精度を低下させている。
• システムは、ノードタイプおよびエッジ接続の事前定義マッピングを用いて、予測されたグラフ構造をソースコードにコンパイルする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、エンド・ツー・エンドのアプローチで、フローチャート画像内のノード内容とエッジ接続を正確に認識できるか？
• RQ2 従来のプログラム合成手法と比較して、GRCNNはフローチャート仕様から正しいプログラムを合成するのにどの程度効果的か？
• RQ3 ノードとエッジヘッド間でバックボーン特徴表現を共有することで、精度を損なわず効率がどの程度向上するか？
• RQ4 合成データセットと比較して、実世界の教科書ベースのフローチャートでは、モデルの性能はどの程度か？
• RQ5 STNのようなアーキテクチャ的改善は、ノードおよびエッジの認識精度にどのような影響を与えるか？

主な発見

• GRCNNは合成データセットで66.4%のプログラム合成精度、実世界の教科書ベースのデータセットで63.6%の精度を達成した。
• 合成データではエッジ認識精度が94.1%に達し、実世界データでは72.7%であり、構造的理解が強いことが示された。
• 合成データではノード認識精度が90.6%、実世界データでは81.8%であり、67.9%の画像ですべてのノードが正しく予測された。
• プログラム合成の平均推論時間は約60ミリ秒であり、リアルタイム処理の可能性を示した。
• アブレーションスタディの結果、STNの導入はノード検出および認識を向上させるが、わずかにエッジ認識精度を低下させ、全体のグラフ認識精度を下げる傾向にある。
• 共有バックボーン特徴を用いたエンド・ツー・エンド訓練は、別個のネットワークと比較して推論時間を5.8%（3.5ms）短縮し、計算効率の向上を確認した。