[논문 리뷰] DLPaper2Code: Auto-generation of Code from Deep Learning Research Papers

Akshay Sethi, Anush Sankaran외 3명|arXiv (Cornell University)|2017. 11. 09.

Software Engineering Research인용 수 7

한 줄 요약

DLPaper2Code는 딥러닝 연구 논문의 다이어그램를 분석하여 기계로 읽을 수 있는 코드를 자동으로 생성하는 시스템을 제안한다. 사전 훈련된 VGG19의 특징을 기반으로 한 딥 네트워크 분류기를 사용하여, 딥러닝 다이어그램를 비-ML 다이어그램과 분류하는 데 93.7%의 정확도를 달성했고, 다섯 가지 다이어그램 유형에 대한 세분화된 분류에서는 88.6%의 정확도를 기록하여 딥러닝 모델 스케마를 해석하고 파싱하는 데 뛰어난 성능을 보였다.

ABSTRACT

With an abundance of research papers in deep learning, reproducibility or adoption of the existing works becomes a challenge. This is due to the lack of open source implementations provided by the authors. Further, re-implementing research papers in a different library is a daunting task. To address these challenges, we propose a novel extensible approach, DLPaper2Code, to extract and understand deep learning design flow diagrams and tables available in a research paper and convert them to an abstract computational graph. The extracted computational graph is then converted into execution ready source code in both Keras and Caffe, in real-time. An arXiv-like website is created where the automatically generated designs is made publicly available for 5,000 research papers. The generated designs could be rated and edited using an intuitive drag-and-drop UI framework in a crowdsourced manner. To evaluate our approach, we create a simulated dataset with over 216,000 valid design visualizations using a manually defined grammar. Experiments on the simulated dataset show that the proposed framework provide more than $93\%$ accuracy in flow diagram content extraction.

연구 동기 및 목표

• 딥러닝 연구 논문의 다이어그램을 해석하여 자동으로 코드 생성을 가능하게 하기 위해 신경망의 시각적 표현을 해석하는 것을 목표로 한다.
• 학술 논문에서 흔히 볼 수 있는 비정형적이고 다양한 시각적 유형의 다이어그램에서 구조화된 모델 정보를 추출하는 데 도전하는 것을 목표로 한다.
• 학술 논문 내에서 다른 과학적 다이어그램과 딥러닝 모델 다이어그램를 구분할 수 있는 강력한 분류 시스템을 개발하는 것을 목표로 한다.
• 정확한 코드 재구성에 기여하기 위해 특정 다이어그램 유형(예: 2D 박스, 3D 박스, 파이프라인 플롯)에 대한 세분화된 분류를 가능하게 하는 것을 목표로 한다.
• 실제 학술 논문 데이터를 사용하여 거대한 다이어그램 데이터셋에서의 군집 분류 및 세분화된 분류 작업에 대해 다양한 분류기의 성능을 평가하는 것을 목표로 한다.

제안 방법

• 학술 논문에서 추출한 30,987개의 다이어그램에서 사전 훈련된 VGG19 모델의 fc2 레이어를 사용해 시각적 특징을 추출한다.
• 이러한 특징을 기반으로 두 개의 은닉층을 가진 피드포워드 신경망(NNet) 분류기를 훈련하여 딥러닝 다이어그램와 비-ML 다이어그램를 구분한다.
• 동일한 NNet 분류기를 사용해 다섯 가지 유형의 다이어그램(뉴런 플롯, 2D 박스, 스택드2D 박스, 3D 박스, 파이프라인 플롯)에 대한 세분화된 분류를 수행한다.
• NNet 분류기의 성능을 군집 분류 및 세분화된 분류 작업 모두에서 여섯 가지 기준 분류기(Naive Bayes, 결정 트리, 로지스틱 회귀, RDF, RBF 커널을 사용한 SVM)와 비교한다.
• 모든 분류 작업에서 훈련, 검증, 테스트에 대해 60-20-20 분할을 적용하여 신뢰할 수 있는 성능 평가를 보장한다.
• 시각적 분석 및 단계별 흐름 탐지 알고리즘을 활용하여 Keras 및 Caffe 시각화 다이어그램에서 구조적 정보를 추출한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 분류기는 연구 논문에서 볼 수 있는 다양한 유형의 다이어그램 중에서 딥러닝 모델 다이어그램를 정확하게 구분할 수 있는가?
• RQ2 학술 논문에서 추출한 특정 딥러닝 다이어그램 유형(예: 2D 박스, 3D 박스, 파이프라인 플롯)에 대해 분류기가 얼마나 잘 성능을 내는가?
• RQ3 시각적 표현으로부터 딥러닝 아키텍처 다이어그램를 식별하고 분류하는 데 가장 우수한 성능을 보이는 기계 학습 분류기는 무엇인가?
• RQ4 VGG19와 같은 사전 훈련된 모델의 시각적 특징은 이후 코드 생성 작업을 위한 정확한 다이어그램 분류를 얼마나 잘 지원하는가?
• RQ5 단계별 흐름 탐지 알고리즘은 Keras 및 Caffe 시각화 다이어그램에서 구조적 정보를 얼마나 효과적으로 추출하는가?

주요 결과

• NNet 분류기는 군집 수준 분류에서 93.7%의 정확도를 기록하여 216,000개의 시뮬레이션된 딥러닝 다이어그램 중 205,193개를 정확히 식별했다.
• 세분화된 분류에서는 NNet 분류기가 88.6%의 정확도를 기록했으며, 110개의 파이프라인 플롯 중 93개, 562개의 3D 박스 다이어그램 중 87개를 정확히 분류했다.
• NNet은 군집 분류 및 세분화된 분류 작업 모두에서 여섯 가지 기준 분류기보다 뛰어난 성능을 보이며, 시각적 특징에 대한 우수한 일반화 능력을 입증했다.
• 세분화된 분류에서 NNet의 혼동 행렬은 2D 박스(184/210) 및 3D 박스(87/100) 유형에서 높은 정밀도와 재현율을 보이며 강력한 성능을 나타냈다.
• 모델은 복잡한 시각적 패턴을 구분하는 데 있어 뛰어난 강건성을 보였으며, 다섯 가지 클래스 설정에서 모든 분류기 중 가장 높은 F1-스코어를 기록했다.
• VGG19의 fc2 특징 사용은 효과적인 전이 학습을 가능하게 하여, 세분화된 설정에서 제한된 애너테이션 데이터로도 높은 정확도를 달성할 수 있도록 했다.