[논문 리뷰] Demystifying Code Summarization Models.

Yu Wang, Fengjuan Gao외 1명|arXiv (Cornell University)|2021. 02. 09.

Software Engineering Research참고 문헌 27인용 수 5

한 줄 요약

이 논문은 훈련 데이터에서 문법적 및 어휘적 특징에 대한 의존도를 분석함으로써 코드 요약 모델을 설명하는 HouYi라는 방법을 제안한다. 분석 결과, Code2Vec, Code2Seq, Sequence GNN 등의 모델은 의미적 이해보다 표면적인 프로그램 구조에 크게 의존함을 드러내며, 현재 모델의 해석 가능성에 대한 핵심적 한계를 폭 드러낸다.

ABSTRACT

The last decade has witnessed a rapid advance in machine learning models. While the black-box nature of these systems allows powerful predictions, it cannot be directly explained, posing a threat to the continuing democratization of machine learning technology. Tackling the challenge of model explainability, research has made significant progress in demystifying the image classification models. In the same spirit of these works, this paper studies code summarization models, particularly, given an input program for which a model makes a prediction, our goal is to reveal the key features that the model uses for predicting the label of the program. We realize our approach in HouYi, which we use to evaluate four prominent code summarization models: extreme summarizer, code2vec, code2seq, and sequence GNN. Results show that all models base their predictions on syntactic and lexical properties with little to none semantic implication. Based on this finding, we present a novel approach to explaining the predictions of code summarization models through the lens of training data. Our work opens up this exciting, new direction of studying what models have learned from source code.

연구 동기 및 목표

• 코드 요약 모델이 프로그램 요약을 예측할 때 어떤 특징에 의존하는지 조사하기 위해.
• 소프트웨어 공학 분야에서 기계 학습의 신뢰성과 민주화를 저해하는 코드 요약 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 훈련 데이터 패턴의 관점에서 모델 예측을 설명하는 방법을 개발하기 위해.
• 모델이 의미적 표현을 학습하는지 아니면 단지 문법적 및 어휘적 신호를 악용하는지 평가하기 위해.
• 소스 코드에서 모델이 실제로 무엇을 학습했는지 이해하는 데 새로운 연구 방향을 열기 위해.

제안 방법

• HouYi 는 개별 훈련 예제가 모델 예측에 기여하는 바를 분석하기 위해 설계되었다.
• 모델의 출력에 가장 큰 영향을 미치는 입력 토큰과 구조적 요소를 식별하고 순위를 매긴다.
• 활성화 분석과 주의 메커니즘을 활용하여 모델 레이어 내 특징 중요도를 추적한다.
• 최신 기술의 네 가지 모델—Extreme Summarizer, Code2Vec, Code2Seq, Sequence GNN—을 평가한다.
• 훈련 데이터에 대한 제거 분석을 수행하여 문법적, 어휘적, 의미적 기여를 분리한다.
• 다양한 프로그램 구조에서의 모델 행동을 비교하여 특징 의존도를 평가한다.

실험 결과

연구 질문

• RQ1 코드 요약 모델이 예측을 위해 주로 어떤 유형의 특징(문법적, 어휘적, 의미적)에 의존하는가?
• RQ2 모델이 소스 코드의 표면적 패턴을 얼마나 활용하는가, 의미적 이해는 어느 정도인가?
• RQ3 예를 들어 순차 기반 모델과 그래프 기반 모델 간의 다른 아키텍처는 특징 활용 방식에서 어떻게 다를까?
• RQ4 훈련 데이터 패턴 분석을 통해 모델 예측을 신뢰성 있게 설명할 수 있는가?
• RQ5 모델의 행동은 소스 코드로부터의 학습 과정에 대해 무엇을 드러내는가?

주요 결과

• 검토된 모든 코드 요약 모델—Extreme Summarizer, Code2Vec, Code2Seq, Sequence GNN—은 예측에 주로 문법적 및 어휘적 특징에 의존한다.
• 모델들은 의미적 이해의 흔적을 거의 보이지 않으며, 이는 프로그램 의미보다는 표면적 패턴을 악용하고 있음을 시사한다.
• HouYi 는 모델 주의를 지배하는 특정 토큰과 구조적 패턴을 성공적으로 식별하여, 예측에서의 특징 편향을 확인했다.
• 분석 결과, 모델 성능은 깊은 코드 이해에서 비롯되지 않고, 오히려 문법적 템플릿과 일반적인 코드 어휘의 기억에 의해 이뤄진다.
• 이러한 발견은 현재 모델들이 표면적 특징에 의존함으로써 새로운 코드 구조에 일반화하기에 빈약하다는 것을 시사한다.
• 이 연구는 향후 모델의 해석 가능성 및 코드 모델의 의미적 이해 평가에 대한 연구 기반을 마련한다.