[논문 리뷰] Comment Generation for Source Code: State of the Art, Challenges and Opportunities

Xiaoran Wang, Benwen Zhang|arXiv (Cornell University)|2018. 01. 05.

Software Engineering Research참고 문헌 37인용 수 4

한 줄 요약

이 종합 검토는 소스 코드 주석 생성 분야의 최신 기술 동향을 종합적으로 분석하며, 접근 방식을 정보 검색, 프로그램 구조 분석, 외부 소프트웨어 자료로 분류한다. 레이블이 부족한 데이터, 의도를 담은 주석 생성의 제한성, 평가의 일관성 부족 등의 주요 과제를 밝히며, 딥러닝, 비지도 학습 방법, 사용자 맞춤형 주석 모델의 잠재적 기회를 제시한다.

ABSTRACT

Researches have shown that most effort of today's software development is maintenance and evolution. Developers often use integrated development environments, debuggers, and tools for code search, testing, and program understanding to reduce the tedious tasks. One way to make software development more efficient is to make the program more readable. There have been many approaches proposed and developed for this purpose. Among these approaches, comment generation for source code is gaining more and more attention and has become a popular research area. In this paper, the state of art in comment generation research area are summarized and the challenges and future opportunities are discussed.

연구 동기 및 목표

• 현재 소스 코드 주석 생성 기술에 대한 종합적인 개요를 제공하기 위해.
• 데이터 품질, 평가 기준의 표준화, 주석 유형의 제한성 등의 핵심 과제를 규명하기 위해.
• 딥러닝과 비지도 학습 방법을 활용한 주석 생성 기술의 향상 가능성을 탐색하기 위해.
• 기본적 요약을 넘어서 의도를 담은 주석 생성의 격차를 부각하기 위해.
• 재현 가능성과 메서드 간 비교를 향상시키기 위해 표준화된 벤치마크와 고품질 학습 데이터셋을 도입할 것을 주장하기 위해.

제안 방법

• 주석 생성 기법을 정보 검색, 프로그램 구조 분석, 외부 소프트웨어 자료 활용의 세 가지 주요 유형으로 분류한다.
• 코드를 '단어의 집합'으로 간주하여 관련 문구나 용어를 검색하는 정보 검색 기법을 검토한다.
• 데이터 흐름 그래프와 고수준 동작 템플릿과 같은 프로그램 구조를 분석해 자연어 요약을 생성하는 접근 방식을 분석한다.
• Stack Overflow, 커밋 로그, 버그 보고서와 같은 외부 자료를 활용해 주석 생성을 풍부화하는 기법을 검토한다.
• POS 태깅, 의미 유사도, 단어 공존 모델과 같은 기본적인 NLP 기법을 코드 식별자에 특화해 적용하는 방법을 평가한다.
• RNN과 같은 비지도 및 순차 기반 모델의 잠재력을 논의하며, 이는 다른 NLP 과제(요약, 번역 등)에서 뛰어난 성능을 보였지만, 이 분야에는 아직 제한적으로 적용된 바가 없다.

실험 결과

연구 질문

• RQ1 소스 코드 주석 생성에서 지배적인 기술적 접근 방식은 무엇이며, 설계 및 적용 면에서 어떻게 다릅니까?
• RQ2 현재 주석 생성이 기술적 요약에 국한되는 이유는 무엇이며, 의도나 설계 수준의 주석 생성을 방해하는 요소는 무엇입니까?
• RQ3 주석 생성을 위한 표준화된 평가 벤치마크와 고품질 학습 데이터셋을 구축하는 데 직면한 주요 과제는 무엇입니까?
• RQ4 비지도 학습 및 딥러닝 기법(예: RNN)을 어떻게 활용해 주석 생성의 품질과 일반화 능력을 향상시킬 수 있습니까?
• RQ5 포럼 게시물이나 커밋 메시지와 같은 외부 소프트웨어 자료는 소스 코드 외부 자료만으로도 주석 생성을 얼마나 향상시킬 수 있습니까?

주요 결과

• 정보 검색 기반 기법은 코드를 단어의 집합으로 간주하여 문법적 구조나 완전한 문장 없이 키워드 수준의 표현만 생성한다.
• 프로그램 구조 기반 기법은 데이터 흐름 분석과 고수준 동작 템플릿을 활용해 더 일관성 있는 주석을 생성하지만, 반복문이나 조건문과 같은 특정 코드 요소에 국한된다.
• 외부 자료 기반 접근 방식은 Stack Overflow에서 데이터를 채굴하는 방식으로, 인간이 작성한 코드-주석 쌍을 학습 및 추론에 재사용할 잠재력을 보인다.
• 비록 기술적 진전이 있었지만, 요약 및 번역과 같은 다른 NLP 과제에서 뛰어난 성능을 보인 RNN이 아직 주석 생성 분야에 적용된 바가 없다.
• 고품질의 레이블이 부여된 데이터셋의 부족함이 주요 장애물로 남아 있으며, 이는 지도 학습의 도입을 제한하고 메서드 간 공정한 비교를 어렵게 한다.
• 현재 평가는 인간의 판단에 크게 의존하여 재현 가능성이 떨어지고, 표준화된 평가 지표 개발을 방해한다.