[논문 리뷰] Fusing Industry and Academia at GitHub (Experience Report)

Patrick Thomson|arXiv (Cornell University)|2022. 06. 18.

Scientific Computing and Data Management인용 수 1

한 줄 요약

이 논문은 허슬을 사용해 구축한 생산 규모의 프로그램 분석 시스템인 Semantic을 제시한다. 이 시스템은 대수적 효과, 데이터 타입 à la carte, 재귀 체계와 같은 기능형 프로그래밍 기법을 활용하여 수억 개의 코드 저장소에서 의미적 차이 분석, 코드 탐색, 추상 해석을 가능하게 한다. 주요 기여는 고급 학술적 FP 연구를 산업 현장에 성공적으로 적용한 것으로, 성능이 뛰어나 확장성이 있으며 오픈소스인 도구 세트를 만들어 GitHub의 코드 분석 능력을 향상시키고, 커뮤니티 기반의 언어 지원을 촉진했다.

ABSTRACT

GitHub hosts hundreds of millions of code repositories written in hundreds of different programming languages. In addition to its hosting services, GitHub provides data and insights into code, such as vulnerability analysis and code navigation, with which users can improve and understand their software development process. GitHub has built Semantic, a program analysis tool capable of parsing and extracting detailed information from source code. The development of Semantic has relied extensively on the functional programming literature; this paper describes how connections to academic research inspired and informed the development of an industrial-scale program analysis toolkit.

연구 동기 및 목표

• 대규모이고 다양한 코드베이스를 고성능과 정확도를 확보하면서 산업 규모로 분석하는 데 도전하는 것.
• 알고리즘적 효과와 재귀 체계와 같은 고급 기능형 프로그래밍 기법이 실세계의 고처리량 생산 시스템에 적용 가능한지 평가하는 것.
• 외부 언어 커뮤니티가 저수준 시스템 프로그래밍 전문 지식 없이도 코드 탐색 규칙을 유지보수할 수 있도록 기여 장벽을 낮추는 것.
• 학계와 산업계 간 협업의 双방향 가치를 입증하기 위해 학술 연구를 실제 엔지니어링 문제 해결에 적용하는 것.

제안 방법

• 강력한 타입 안전성과 참조 순수성을 활용해 정확성과 유지보수성을 확보하기 위해 허슬에서 프로그램 분석 프레임워크를 구현하는 것.
• 알고리즘적 효과와 스코프 효과를 사용해 순수한 기능형 방식으로 부작용을 모델링하고, 모듈화되고 조합 가능한 부작용 처리를 가능하게 하는 것.
• 다양한 프로그래밍 언어의 구문 트리에 대해 확장 가능하고 타입 안정적인 데이터 구조를 구축하기 위해 데이터 타입 à la carte를 적용하는 것.
• 재귀 체계와 일반화된 LR 구문 분석을 활용해 추상 구문 트리의 효율적이고 확장 가능한 순회 및 변환을 가능하게 하는 것.
• 외부 언어 커뮤니티의 기여 장벽을 낮추기 위해 트리시터에 통합된 도메인 특화 쿼리 언어를 설계하여 허슬 기반 코드 탐색을 대체하는 것.
• 오류 처리와 주석 추적을 함수자로 매개변수화해 타입 안정성을 유지하면서도 영향력을 높이는 유연성 향상을 위한 유형 시스템을 정교화하는 것.

실험 결과

연구 질문

• RQ1 학계에서 나온 고급 기능형 프로그래밍 기법이 대규모 산업 소프트웨어 엔지니어링 문제를 효과적으로 해결하는 데 적용될 수 있는가?
• RQ2 알고리즘적 효과와 데이터 타입 à la carte 같은 기법이 분석 요청이 수천 건에 이르는 고성능 생산 시스템에서 어떻게 스케일링되는가?
• RQ3 실세계 코드베이스에서 재귀 체계와 일반화된 구문 분석을 사용할 때 표현력과 유지보수성 사이의 실질적 트레이드오프는 무엇인가?
• RQ4 학술 연구를 어떻게 적응시켜 산업 도구에서의 기여 장벽을 낮추되 성능이나 정확도를 희생시키지 않을 수 있는가?
• RQ5 도메인 특화 언어가 성능과 확장성을 유지하면서도 실생산 시스템에서 저수준 기능형 구현을 대체할 수 있는 정도는 어느 정도인가?

주요 결과

• Semantic 시스템은 낮은 지연 시간으로 분석 요청을 분당 수천 건까지 처리할 수 있었으며, 고성능 산업 시스템에서 기능형 프로그래밍의 타당성을 입증했다.
• 알고리즘적 효과와 스코프 효과의 사용은 모듈화되고 조합 가능하며 테스트 가능한 부작용 처리를 가능하게 하여 코드의 명확성과 유지보수성에 상당한 기여를 했다.
• 데이터 타입 à la carte 덕분에 다양한 프로그래밍 언어에서 확장 가능하고 타입 안정적인 구문 트리를 구성할 수 있었으며, 강력한 타입 안정성을 확보한 다양한 코드베이스를 지원했다.
• 허슬 기반 코드 탐색 시스템에서 트리시터 기반 도메인 특화 쿼리 언어로의 전환은 기여 장벽을 크게 낮춰, 엘릭시르 커뮤니티와 같은 외부 커뮤니티가 자체 규칙을 유지보수할 수 있도록 했다.
• 함수자로 문법 노드 타입을 매개변수화함으로써(예: 주석 또는 차이 상태에 대해) 성능이나 표현력을 희생시키지 않으면서도 타입 안정적인 확장을 가능하게 했다.
• 초기에는 큰 상호 재귀적인 구문 트리에서 재귀 체계를 적용할 때 어려움이 있었지만, Fastsum과 고차원 타입 클래스의 개발을 통해 생산 환경에서 충분한 표현력을 확보할 수 있었다.