[논문 리뷰] IR2Vec: A Flow Analysis based Scalable Infrastructure for Program Encodings.

Venkata Keerthy S., Rohit Aggarwal외 4명|arXiv (Cornell University)|2019. 09. 13.

Software Engineering Research참고 문헌 44인용 수 5

한 줄 요약

IR2Vec는 중간 표현(IR)과 흐름 분석을 활용하여 구문과 의미를 포괄하는 분산 임베딩을 생성하는 확장 가능하고 언어 및 기계에 종속되지 않는 프로그램 인코딩 프레임워크를 제안한다. IR 엔티티에서 시드 임베딩을 학습하고 데이터 및 제어 흐름을 사용하여 계층적으로 통합함으로써, IR2Vec는 간단한 모델을 사용하여 프로그램 분류, 이질적 장치 매핑, 스레드 군집화 등에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose IR2Vec, a Concise and Scalable encoding infrastructure to represent programs as a distributed embedding in continuous space. This distributed embedding is obtained by combining representation learning methods with data and control flow information to capture the syntax as well as the semantics of the input programs.
 Our embeddings are obtained from the Intermediate Representation (IR) of the source code, and are both
 language as well as machine independent. The entities of the IR are modelled as relationships, and their
 representations are learned to form a seed embedding vocabulary. This vocabulary is used along with the flow
 analyses information to form a hierarchy of encodings based on various levels of program abstractions.
 We show the effectiveness of our methodology on a software engineering task (program classification) as well as optimization tasks (Heterogeneous device mapping and Thread coarsening). The embeddings generated by IR2Vec outperform the existing methods in all the three tasks even when using simple machine learning models. As we follow an agglomerative method of forming encodings at various levels using seed embedding vocabulary, our encoding is naturally more scalable and not data-hungry when compared to the
 other methods.

연구 동기 및 목표

• 구문과 의미적 프로그램 정보를 모두 포괄하는 확장 가능하고 언어 및 기계에 종속되지 않는 프로그램 인코딩 방법을 개발하는 것.
• 기존 프로그램 분석에서 데이터 집약적이고 확장성 없는 임베딩 방법의 한계를 해결하는 것.
• 데이터 및 제어 흐름 분석을 계층적 임베딩 프레임워크에 통합하여 다수 수준의 프로그램 추상화를 가능하게 하는 것.
• 다양한 소프트웨어 공학 및 최적화 작업에서 단순한 기계 학습 모델을 사용하여 효과적인 프로그램 표현을 가능하게 하는 것.

제안 방법

• IR2Vec는 지식 그래프 유사 구조에서 IR 엔티티를 관계로 모델링하여 시드 임베딩을 구성한다.
• 대표성 학습 기법을 적용하여 IR에서 조밀한 벡터 표현을 학습함으로써 기초 임베딩 어휘를 형성한다.
• 데이터 및 제어 흐름 분석 정보를 사용하여 다수의 추상화 수준에서 임베딩을 계층적으로 집계한다.
• 누적적 접근법을 통해 시드 임베딩과 흐름 기반의 구조적 맥락을 결합하여 고차원 프로그램 인코딩을 생성한다.
• 이 방법은 대규모 사전 훈련이나 막대한 레이블 데이터 세트가 필요 없도록 설계되어 확장 가능하고 효율적이다.
• 결과로 생성된 임베딩은 후속 작업을 위한 단순한 기계 학습 모델의 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 흐름 분석 기반 접근법이 다양한 소프트웨어 공학 작업에서 기존 방법보다 더 효과적인 프로그램 임베딩을 생성할 수 있는가?
• RQ2 데이터 및 제어 흐름의 통합이 프로그램 임베딩의 의미 표현을 어떻게 향상시키는가?
• RQ3 확장 가능하고 누적적 임베딩 프레임워크가 프로그램 분류 및 최적화에서 데이터 집약적 모델보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 IR2Vec의 언어 및 기계에 종속되지 않는 특성은 다양한 프로그래밍 언어와 플랫폼 간 일반화를 가능하게 하는가?
• RQ5 간단한 모델이 IR2Vec 임베딩을 사용할 경우 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• IR2Vec는 간단한 모델을 사용하여 기존 방법보다 프로그램 분류에서 더 높은 정확도를 달성한다.
• 이질적 장치 매핑이라는 핵심 최적화 작업에서 프레임워크가 뛰어난 성능을 보였다.
• 스레드 군집화에서도 IR2Vec가 최신 기술 수준의 결과를 달성하였다.
• 누적적이고 흐름 기반의 인코딩 과정은 대규모 학습 데이터가 없이도 확장 가능성을 보장한다.
• 모델 복잡도가 최소화된 상태에서도 임베딩이 효과적이며, 학습된 표현의 품질을 강조한다.
• 이 방법은 본질적으로 확장 가능하며, 많은 경쟁 방법과 달리 데이터 집약적이지 않다.