[논문 리뷰] Evaluating the Impact of Source Code Parsers on ML4SE Models

Ilya Utkin, Egor Spirin외 2명|arXiv (Cornell University)|2022. 06. 17.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학 분야의 기계학습(ML4SE) 모델 성능에 영향을 미치는 다양한 소스 코드 파서의 영향을 평가한다. 주로 자바에서 메서드 이름 예측 작업을 중심으로 분석한다. 새로운 도구인 SuperParser를 활용해 두 가지 모델(TreeLSTM 및 Code2Seq)에서 여덟 종류의 파서를 비교한 결과, 파서 선택이 모델 품질에 상당한 영향을 미치며, TreeLSTM의 경우 최대 27%의 성능 격차, Code2Seq의 경우 최대 5.5%의 성능 격차가 발생함을 확인하였다.

ABSTRACT

As researchers and practitioners apply Machine Learning to increasingly more software engineering problems, the approaches they use become more sophisticated. A lot of modern approaches utilize internal code structure in the form of an abstract syntax tree (AST) or its extensions: path-based representation, complex graph combining AST with additional edges. Even though the process of extracting ASTs from code can be done with different parsers, the impact of choosing a parser on the final model quality remains unstudied. Moreover, researchers often omit the exact details of extracting particular code representations. In this work, we evaluate two models, namely Code2Seq and TreeLSTM, in the method name prediction task backed by eight different parsers for the Java language. To unify the process of data preparation with different parsers, we develop SuperParser, a multi-language parser-agnostic library based on PathMiner. SuperParser facilitates the end-to-end creation of datasets suitable for training and evaluation of ML models that work with structural information from source code. Our results demonstrate that trees built by different parsers vary in their structure and content. We then analyze how this diversity affects the models' quality and show that the quality gap between the most and least suitable parsers for both models turns out to be significant. Finally, we discuss other features of the parsers that researchers and practitioners should take into account when selecting a parser along with the impact on the models' quality. The code of SuperParser is publicly available at https://doi.org/10.5281/zenodo.6366591. We also publish Java-norm, the dataset we use to evaluate the models: https://doi.org/10.5281/zenodo.6366599.

연구 동기 및 목표

• 추상구문트리(ASP)를 기반으로 하는 ML4SE 모델의 성능에 영향을 미치는 소스 코드 파서 선택의 영향을 조사한다.
• 이전의 ML4SE 연구에서 AST 추출 과정에서 파서 정보를 생략함으로써 발생하는 투명성 부족 및 재현 불가 문제를 해결한다.
• 여러 파서와 프로그래밍 언어를 대상으로 일관된 ML 준비 데이터셋 생성을 표준화하기 위한 통합된, 파서에 영향을 받지 않는 프레임워크를 개발한다.
• TreeLSTM 및 Code2Seq와 같은 널리 사용되는 두 모델을 활용해 파서 다양성이 모델 품질에 미치는 영향을 평가한다.
• 파서 선택이 ML4SE 파ip라인에서 중요한 하이퍼파라미터일 뿐만 아니라 단순한 구현 세부사항이 아님을 경험적으로 입증한다.

제안 방법

• PathMiner를 기반으로 한 다국어, 파서에 영향을 받지 않는 라이브러리인 SuperParser를 개발하여 다양한 파서를 활용해 소스 코드로부터 AST 및 코드 표현을 균일하게 추출한다.
• 사용자가 최소한의 코드 변경으로도 파서를 쉽게 전환할 수 있도록 YAML 기반의 구성 시스템을 구현하여 일관된 종단 간 데이터셋 생성을 가능하게 한다.
• JavaCC, ANTLR, Rhino, Squirrel, Tree-sitter, JDT, Javac, JShell 등 여덟 종류의 자바 파서를 사용해 메서드 이름 예측 작업에서의 모델 성능을 평가한다.
• 동일한 코드베이스에서 각 파서를 사용해 AST와 경로 기반 표현(코드2seq용)을 추출하여 모델 학습 및 평가에 동일한 입력을 보장한다.
• Java-small와 유사한 크기를 가지되, 더 다양한 검증 및 테스트 세트를 포함한 Java-norm 데이터셋을 사용하여 보다 강력하고 대표성 있는 모델 평가를 수행한다.
• F1 점수 및 ChrF를 사용해 모델 성능을 측정하고, 파서 간의 성능 차이를 분석하여 AST의 구조적 차이가 모델 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 소스 코드 파서 선택이 AST에 의존하는 ML4SE 모델의 성능에 어떤 영향을 미치는가?
• RQ2 트리 깊이, 노드 수, 토큰 다양성 등의 AST의 구조적 및 내용적 차이가 모델 품질에 얼마나 큰 영향을 미치는가?
• RQ3 ML4SE 모델에 대해 보편적으로 최적의 파서가 존재하는가, 아니면 최적의 파서는 모델 아키텍처에 따라 달라지는가?
• RQ4 통합된, 파서에 영향을 받지 않는 프레임워크가 ML4SE 연구의 재현 가능성과 비교 가능성 향상에 기여할 수 있는가?
• RQ5 다른 파서를 사용해 학습된 모델 간의 성능 차이는 얼마나 크며, 이러한 차이는 통계적으로 의미 있는가?

주요 결과

• 파서 선택이 모델 성능에 상당한 영향을 미치며, TreeLSTM의 경우 사용된 파서에 따라 F1 점수가 최대 27.0%까지 변동함을 확인하였다.
• Code2Seq의 경우 최상위 및 최하위 파서 간 F1 점수 격차가 5.5%로 나타났으며, 최근의 ML4SE 문헌 기준으로는 상당한 수준의 격차로 간주된다.
• TreeLSTM와 Code2Seq 간의 파서 순위가 상이하여 보편적으로 최적의 파서가 존재하지 않으며, 파생된 모델 아키텍처와 처리 방식에 따라 최적의 파서가 달라짐을 시사한다.
• 다른 파서가 생성한 AST는 구조(예: 트리 깊이, 크기)와 내용(예: 고유한 노드 유형 수, 토큰 분포) 면에서 상이하며, 이는 모델 학습에 직접적인 영향을 미친다.
• SuperParser 도구를 통해 최소한의 구성 변경으로도 여러 파서 간 일관되고 재현 가능한 데이터셋 생성이 가능해져 실험의 투명성이 향상되었다.
• 이 연구와 함께 공개된 Java-norm 데이터셋은 Java-small과 유사한 크기를 가지되, 더 다양한 검증 및 테스트 세트를 포함하여 더 강력하고 대표성 있는 평가를 가능하게 하였으며, 계산 비용 증가 없이도 더 신뢰할 수 있는 모델 비교를 가능하게 하였다.