[論文レビュー] IR2Vec: A Flow Analysis based Scalable Infrastructure for Program Encodings.

Venkata Keerthy S., Rohit Aggarwal+4 more|arXiv (Cornell University)|Sep 13, 2019

Software Engineering Research参考文献 44被引用数 5

ひとこと要約

IR2Vec は、中間表現（IR）とフローアナリシスを活用して構文と意味を捉えた分散表現を生成するスケーラブルで言語および機械に依存しないプログラム符号化フレームワークを提案する。IR要因からのシード埋め込みを学習し、データフローおよび制御フローを用いて階層的に統合することで、シンプルなモデルでプログラム分類、異種デバイスマッピング、スレッド粗粒度化において最先端の性能を達成する。

ABSTRACT

We propose IR2Vec, a Concise and Scalable encoding infrastructure to represent programs as a distributed embedding in continuous space. This distributed embedding is obtained by combining representation learning methods with data and control flow information to capture the syntax as well as the semantics of the input programs.
 Our embeddings are obtained from the Intermediate Representation (IR) of the source code, and are both
 language as well as machine independent. The entities of the IR are modelled as relationships, and their
 representations are learned to form a seed embedding vocabulary. This vocabulary is used along with the flow
 analyses information to form a hierarchy of encodings based on various levels of program abstractions.
 We show the effectiveness of our methodology on a software engineering task (program classification) as well as optimization tasks (Heterogeneous device mapping and Thread coarsening). The embeddings generated by IR2Vec outperform the existing methods in all the three tasks even when using simple machine learning models. As we follow an agglomerative method of forming encodings at various levels using seed embedding vocabulary, our encoding is naturally more scalable and not data-hungry when compared to the
 other methods.

研究の動機と目的

• 構文的および意味的プログラム情報を捉える、スケーラブルで言語および機械に依存しないプログラム符号化手法の開発。
• プログラム解析における、データ集約的でスケーラブルでない既存の埋め込み手法の限界の解消。
• データおよび制御フロー解析を統合した階層的埋め込みフレームワークを用いて、複数レベルのプログラム抽象化を実現。
• さまざまなソフトウェア工学および最適化タスクにおいて、シンプルな機械学習モデルを用いた効果的なプログラム表現の実現。

提案手法

• IR2Vec は、IR要因を知識グラフに類似した構造の関係としてモデル化することで、シード埋め込みを構築する。
• 表現学習技術を適用して、IRから密なベクトル表現を学習し、基礎となる埋め込み語彙を形成する。
• データフローおよび制御フローの分析情報を利用して、複数の抽象化レベルにわたる埋め込みの階層的集約をガイドする。
• 凝集的アプローチにより、シード埋め込みとフローに基づく構造的文脈を統合し、より高レベルのプログラム符号化を生成する。
• 大規模な事前学習や膨大なラベル付きデータセットを必要とせず、スケーラブルで効率的な設計がなされている。
• 得られた埋め込みは、下流タスクのためのシンプルな機械学習モデルへの入力として使用される。

実験結果

リサーチクエスチョン

• RQ1 フローアナリシスに基づくアプローチは、多様なソフトウェア工学タスクにおいて、既存手法よりも効果的なプログラム埋め込みを生成できるか？
• RQ2 データおよび制御フローの統合は、プログラム埋め込みにおける意味的表現をどのように向上させるか？
• RQ3 スケーラブルで凝集的な埋め込みフレームワークは、データ集約的モデルに比べて、プログラム分類および最適化においてどの程度優れた性能を発揮するか？
• RQ4 IR2Vec の言語および機械に依存しない性質は、異なるプログラミング言語およびプラットフォーム間での一般化を可能にするか？
• RQ5 シンプルなモデルが、IR2Vec 埋め込みを用いることで最先端の性能を達成できるか？

主な発見

• IR2Vec は、シンプルなモデルを用いても、プログラム分類において既存手法を上回る高い正確性を達成する。
• フレームワークは、重要な最適化タスクである異種デバイスマッピングにおいて優れた性能を示す。
• IR2Vec は、もう一つの重要なコンパイラ最適化であるスレッド粗粒度化においても最先端の結果を達成する。
• 凝集的でフローに従う符号化プロセスにより、大規模なトレーニングデータを必要とせずにスケーラビリティが実現される。
• 最小限のモデル複雑性ですら効果的であるため、学習済み表現の質の高さが示される。
• 本手法は本質的にスケーラブルであり、多くの競合手法とは異なりデータ集約的ではない。