[논문 리뷰] Themisto: Towards Automated Documentation Generation in Computational Notebooks.

April Yi Wang, Dakuo Wang외 7명|arXiv (Cornell University)|2021. 02. 24.

Software Engineering Research참고 문헌 51인용 수 8

한 줄 요약

Themisto는 딥러닝, 쿼리 기반 API 검색, 사용자 프롬프팅을 결합한 자동 문서화 시스템으로, 문서화 시간을 단축하고 완전성과 사용자 만족도를 향상시킵니다. 24명의 전문가를 대상으로 평가한 결과, 작업 부담을 크게 감소시키고 간과된 코드의 문서화를 상기시켜 주었습니다.

ABSTRACT

Computational notebooks allow data scientists to express their ideas through a combination of code and documentation. However, data scientists often pay attention only to the code, and neglect creating or updating their documentation during quick iterations, which leads to challenges in sharing their notebooks with others and future selves. Inspired by human documentation practices from analyzing 80 highly-voted Kaggle notebooks, we design and implement Themisto, an automated documentation generation system to explore the Human-AI Collaboration opportunity in the code documentation scenario. Themisto facilitates the creation of different types of documentation via three approaches: a deep-learning-based approach to generate documentation for source code (fully automated), a query-based approach to retrieve the online API documentation for source code (fully automated), and a user prompt approach to motivate users to write more documentation (semi-automated). We evaluated Themisto in a within-subjects experiment with 24 data science practitioners, and found that automated documentation generation techniques reduced the time for writing documentation, reminded participants to document code they would have ignored, and improved participants' satisfaction with their computational notebook.

연구 동기 및 목표

• 데이터 과학 분야에서 널리 사용되고 있음에도 불구하고 일관성 없고 불완전한 문서화 문제를 해결하기 위해.
• 80개의 높은 평점을 받은 Kaggle 노트북을 분석하여 인간과 AI의 협업을 통한 코드 문서화 자동화를 탐색하기 위해.
• 완전히 자동화된 딥러닝, 자동화된 API 검색, 반자동화된 사용자 프롬프팅을 포함한 다양한 문서화 생성 방식을 지원하는 시스템을 설계하고 구현하기 위해.
• 실제 데이터 과학 워크플로우에서 시간 효율성, 문서화 완전성, 사용자 만족도에 미치는 영향을 평가하기 위해.

제안 방법

• Themisto는 소스 코드에서 자연어 문서를 직접 생성하기 위해 딥러닝 모델을 사용하여 완전히 자동화된 문서화 생성을 가능하게 합니다.
• 코드 스니펫에 대한 관련 온라인 API 문서를 검색하기 위해 쿼리 기반 접근 방식을 활용하여 외부 자원과 자동으로 연결합니다.
• 사용자에게 문서화의 격차를 부각시켜 스스로 문서를 작성하도록 유도하는 사용자 프롬프트 메커니즘을 통해 반자동화된 저자 작성 방식을 지원합니다.
• 이 세 가지 접근 방식을 컴퓨팅 노트북 내부의 단일 인터페이스에 통합하여 원활한 문서화 생성을 가능하게 합니다.
• 실제 문서화 관행을 반영하기 위해 80개의 높은 평점을 받은 Kaggle 노트북을 분석한 결과를 설계에 반영했습니다.
• 사용성과 영향을 평가하기 위해 24명의 데이터 과학자 대상으로 내부 주제 설계 실험을 실시했습니다.

실험 결과

연구 질문

• RQ1 자동화된 문서화 생성은 컴퓨팅 노트북에서 코드 문서화에 소요되는 시간에 어떤 영향을 미치는가?
• RQ2 자동화된 기법은 사용자가 그렇지 않으면 생략할 가능성이 있는 코드의 문서화를 얼마나 잘 상기시키는가?
• RQ3 자동화 도구를 사용할 경우 노트북 문서화에 대한 사용자 만족도는 어떻게 변화하는가?
• RQ4 딥러닝, 쿼리 기반 검색, 사용자 프롬프팅의 상대적 효과는 문서화 품질 향상에 어떤가?
• RQ5 데이터 과학자들은 실세계의 노트북 워크플로우에서 AI 보조 문서화를 어떻게 인식하고 상호작용하는가?

주요 결과

• 자동화된 문서화 생성은 수동 작성에 비해 문서화 작성에 소요되는 시간을 크게 감소시켰습니다.
• 참가자들이 그렇지 않으면 간과할 가능성이 있었던 코드의 문서화를 시스템이 상기시켜 완전성을 향상시켰습니다.
• 참가자들은 Themisto를 사용할 경우 인지 부담 감소 덕분에 더 높은 만족도를 보였습니다.
• 딥러닝 및 쿼리 기반 접근 방식은 사용자 입력 없이도 관련 문서화를 효과적으로 생성하는 데 성공했습니다.
• 사용자 프롬프트 방식은 특히 복잡하거나 명백하지 않은 코드에 대해 참가자가 추가 문서화를 작성하도록 효과적으로 유도했습니다.
• 전반적으로 Themisto는 데이터 과학 분야에서 문서화 품질 향상과 워크플로우 효율성 향상에 매우 큰 잠재력을 보였습니다.