[논문 리뷰] GRCNN: Graph Recognition Convolutional Neural Network for Synthesizing Programs from Flow Charts

Lin Cheng, Zijiang Yang|arXiv (Cornell University)|2020. 11. 11.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 흐름도 이미지에서 그래프 구조의 노드와 간선을 동시에 인식함으로써 프로그램을 합성하는 딥 컨volution 네트워크인 GRCNN을 제안한다. 엔드 투 엔드로 훈련된 GRCNN은 합성 데이터에서 66.4%의 프로그램 합성 정확도와 실세계 교과서 예제에서 63.6%의 정확도를 기록했으며, 간선 인식 정확도는 94.1%, 노드 인식 정확도는 67.9%를 기록했고, 각 흐름도 처리에 약 60ms가 소요된다.

ABSTRACT

Program synthesis is the task to automatically generate programs based on user specification. In this paper, we present a framework that synthesizes programs from flow charts that serve as accurate and intuitive specifications. In order doing so, we propose a deep neural network called GRCNN that recognizes graph structure from its image. GRCNN is trained end-to-end, which can predict edge and node information of the flow chart simultaneously. Experiments show that the accuracy rate to synthesize a program is 66.4%, and the accuracy rates to recognize edge and nodes are 94.1% and 67.9%, respectively. On average, it takes about 60 milliseconds to synthesize a program.

연구 동기 및 목표

• 형식적 또는 예제 기반 사양 대신 직관적이고 시각적인 흐름도로부터 프로그램 합성을 가능하게 하기 위해.
• 딥 러닝을 사용하여 흐름도 이미지에서 그래프 구조(노드 및 간선)를 정확하게 인식하는 도전 과제를 해결하기 위해.
• 단일 이미지 입력으로부터 노드 내용과 간선 연결성을 동시에 예측하는 통합형 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 흐름도를 정확하고 사용자 友好的한 사양으로 사용하여 프로그램 합성의 가능성과 성능을 평가하기 위해.

제안 방법

• GRCNN은 리사이징된 흐름도 이미지에서 공통적인 특징 표현을 추출하기 위해 공유된 백본 컨volution 네트워크를 사용한다.
• 이 네트워크는 바운딩 박스를 통해 노드를 국소화하는 검출 헤드와 순서 기반 디코더를 사용해 노드 텍스트 내용을 예측하는 인식 헤드를 사용한다.
• 간선 예측 헤드는 모든 노드 쌍에 대한 분류 헤드를 통해 검출된 노드 간의 연결성을 예측함으로써 인접 행렬을 생성한다.
• 노드 검출, 텍스트 인식, 간선 분류 손실를 조합한 공동 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련한다.
• 정위치 안정성을 향상시키기 위해 공간 변환 네트워크(STN)를 적용했지만, 추론 분석 결과 간선 정확도가 약간 감소하는 것으로 나타났다.
• 예측된 그래프 구조는 노드 유형과 간선 연결성에 대한 사전 정의된 매핑을 사용해 소스 코드로 컴iles된다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 엔드 투 엔드 방식으로 흐름도 이미지의 노드 내용과 간선 연결성을 정확하게 인식할 수 있는가?
• RQ2 伝통적인 프로그램 합성 방법에 비해 GRCNN은 흐름도 사양으로부터 정확한 프로그램을 얼마나 효과적으로 합성하는가?
• RQ3 노드 및 간선 헤드 간에 백본 특징 표현을 공유함으로써 정확도를 손상시키지 않고 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 합성 데이터셋에 비해 실세계 교과서 기반 흐름도에서 모델의 성능은 어떠한가?
• RQ5 STN과 같은 아키텍처 개선 사항이 노드 및 간선 인식 정확도에 미치는 영향은 어떠한가?

주요 결과

• GRCNN은 합성 데이터셋에서 66.4%의 프로그램 합성 정확도와 실세계 교과서 기반 데이터셋에서 63.6%의 정확도를 기록했다.
• 합성 데이터에서 간선 인식 정확도는 94.1%에 도달했고, 실세계 데이터에서는 72.7%를 기록해 강력한 구조 이해 능력을 보였다.
• 합성 데이터에서 노드 인식 정확도는 90.6%였고, 실세계 데이터에서는 81.8%였으며, 67.9%의 이미지에서 모든 노드가 정확히 예측되었다.
• 프로그램 합성의 평균 추론 시간은 약 60ms로 실시간 처리 가능성은 입증되었다.
• 추론 분석 결과, STN 개선이 노드 검출 및 인식에는 도움이 되지만 간선 정확도를 약간 낮춰 전체 그래프 정확도를 떨어뜨린다.
• 공유된 백본 특징를 사용한 엔드 투 엔드 훈련은 별도의 네트워크 대비 추론 시간을 5.8% 감소시켜(3.5ms), 계산 효율성을 확인했다.