[논문 리뷰] HAConvGNN: Hierarchical Attention Based Convolutional Graph Neural Network for Code Documentation Generation in Jupyter Notebooks

Xuye Liu, Dakuo Wang외 3명|arXiv (Cornell University)|2021. 03. 31.

Software Engineering Research참고 문헌 25인용 수 4

한 줄 요약

이 논문은 Jupyter 노트북의 다중 코드 셀에 대한 문서화를 생성하기 위해 추상 구문 트리(abstract syntax trees, ASTs)를 통해 그들의 구조적 관계를 모델링하는 계층적 주의 기반 그래프 신경망(HAConvGNN)을 제안한다. ROUGE 점수와 인간 평가에서 베이스라인 모델을 능가하며, 다중 셀 노트북 환경에서의 코드 문서화 생성에 있어 향상된 일관성과 관련성 을 보여준다.

ABSTRACT

Jupyter notebook allows data scientists to write machine learning code together with its documentation in cells. In this paper, we propose a new task of code documentation generation (CDG) for computational notebooks. In contrast to the previous CDG tasks which focus on generating documentation for single code snippets, in a computational notebook, one documentation in a markdown cell often corresponds to multiple code cells, and these code cells have an inherent structure. We proposed a new model (HAConvGNN) that uses a hierarchical attention mechanism to consider the relevant code cells and the relevant code tokens information when generating the documentation. Tested on a new corpus constructed from well-documented Kaggle notebooks, we show that our model outperforms other baseline models.

연구 동기 및 목표

• 다중 셀 계산 노트북에서, 하나의 마크다운 셀이 구조적 의존성이 있는 다수의 코드 셀을 문서화하는 데 있어 코드 문서화 생성(CDG)의 격차를 해소하기 위해.
• 계층적 주의 메커니즘을 사용하여 코드 셀 간의 토큰 수준 및 셀 수준의 의존성을 모두 포착하는 모델을 개발하기 위해.
• 훈련 및 평가를 위해 사용할 수 있는 대규모 고품질 데이터셋(notebookCDG)을 구축하기 위해. 이 데이터셋은 높은 순위의 Kaggle 노트북에서 유래한 28,625개의 코드-문서화 쌍으로 구성된다.
• 실제 환경에서의 성능 평가를 위해 인간-AI 협업을 통한 문서화 작성에 적합한 Jupyter 노트북 플러그인에 모델를 통합하기 위해.
• 코드 셀 간의 구조적 모델링이 생성된 문서화의 정보성과 관련성 향상에 기여함을 입증하기 위해.

제안 방법

• 모델은 입력 코드와 예측 문서화 토큰을 인코딩하기 위해 코드 시퀀스 인코더와 보조 문서화 텍스트 인코더를 사용한다.
• 코드 시퀀스의 추상 구문 트리(abstract syntax trees, ASTs)로부터 계층적 그래프 표현을 구성하여 코드 토큰과 셀 간의 구조적 관계를 포착한다.
• 이중 수준의 계층적 주의 메커니즘을 적용한다: 저수준 주의는 개별 코드 토큰에 주의를 기울이고, 고수준 주의는 AST 구조 내 전체 코드 셀에 주의를 기울인다.
• 그래프 신경망 컴ponent는 AST로부터 유래한 의미적 정보와 구조적 정보를 통합하여 시퀀스-투-시퀀스 생성을 향상시킨다.
• 모델는 순서-투-순서 프레임워크를 사용하여 엔드 투 엔드로 훈련되며, 교차 엔트로피 손실을 최적화하여 유창성과 관련성에 초점을 맞춘다.
• 이 접근법은 초점이 맞춰진 코드 셀과 그 이웃 셀을 기반으로 문서화를 제안하는 Jupyter 노트북 플러그인에 통합되어 사용자 상호작용을 지원한다.

실험 결과

연구 질문

• RQ1 계층적 주의를 갖는 그래프 기반 신경망이 Jupyter 노트북의 다중 셀 코드 문서화를 효과적으로 모델링할 수 있는가?
• RQ2 시퀀스 전용 모델 대비 AST 구조를 모델링함으로써 생성된 문서화의 품질이 어떻게 향상되는가?
• RQ3 HAConvGNN 모델이 ROUGE와 같은 자동 평가 지표와 인간 평가에서 얼마나 베이스라인 모델을 능가하는가?
• RQ4 실제 사용자 인터페이스 애플리케이션에 효과적으로 배포되어 인간-AI 협업을 통한 문서화 작성 지원이 가능한가?
• RQ5 기본적인 순서 모델(T5-small)과 비교해 HAConvGNN 모델이 더 정보가 풍부하고 맥락적으로 관련성이 높은 문서화를 생성하는가?

주요 결과

• HAConvGNN는 notebookCDG 데이터셋에서 ROUGE-1(21.83), ROUGE-2(7.21), ROUGE-L(23.45) 지표에서 베이스라인 모델을 능가한다.
• 인간 평가 결과, HAConvGNN가 생성한 문서화는 관련성, 일관성, 정보성 측면에서 베이스라인보다 유의미하게 높은 평가를 받았다.
• T5-small 모델은 ROUGE-1과 ROUGE-L 점수는 더 높게 기록했지만, 정보성 콘텐츠는 낮아 자동 평가 지표와 인간 인식 사이의 상충 관계를 보여주었다.
• 모델는 최대 1,732개의 AST 토큰까지의 장기 입력 시퀀스를 효과적으로 처리하여, 표준 트랜스포머 입력 제한(512/1,024 토큰)을 초월한 확장성을 입증했다.
• Jupyter 플러그인에 통합된 결과, 사용자 피드백에 따르면 AI 제안이 사용자가 일반적으로 생략할 수 있었던 코드 문서화를 상기시켜 주었다.
• 인간-AI 협업 플러그인은 문서화 작성 시간을 단축시키고 데이터 과학 워크플로우 중 사용자 만족도를 향상시켰다.