[論文レビュー] Modeling Vocabulary for Big Code Machine Learning

Hlib Babii, Andrea Janes+1 more|arXiv (Cornell University)|Apr 3, 2019

Software Engineering Research参考文献 68被引用数 25

ひとこと要約

この論文は、大規模なニューラル言語モデル（NLM）をソースコード上でトレーニングする際の、重要な語彙モデリングの選択について調査しており、バイトペア符号化（BPE）や戦略的なトークンフィルタリングといった技術が、語彙サイズを最大3桁減少させることを示している。著者らは、10,106プロジェクトのコーパス上で競争力のあるNLMを成功裏にトレーニングし、1分間に27プロジェクトのペースで処理を達成した。これにより、コードインテリジェンスタスクにおけるスケーラブルな事前トレーニングと転移学習が可能になった。

ABSTRACT

When building machine learning models that operate on source code, several decisions have to be made to model source-code vocabulary. These decisions can have a large impact: some can lead to not being able to train models at all, others significantly affect performance, particularly for Neural Language Models. Yet, these decisions are not often fully described. This paper lists important modeling choices for source code vocabulary, and explores their impact on the resulting vocabulary on a large-scale corpus of 14,436 projects. We show that a subset of decisions have decisive characteristics, allowing to train accurate Neural Language Models quickly on a large corpus of 10,106 projects.

研究の動機と目的

• 機械学習モデルにおける極めて大規模かつ多様なソースコード語彙の管理の課題に対処すること。
• 異なる語彙モデリング意思決定が語彙サイズ、未知語（OOV）率、およびトレーニングの可能性に与える影響を調査すること。
• 最適な構成選択を特定することで、大規模なコードコーパス上で神経言語モデル（NLM）のスケーラブルなトレーニングを可能にすること。
• 適切な語彙モデリングを施すことで、NLMがコード補完および言語モデルタスクで効率的にトレーニングされ、競争力のある性能を達成できることを実証すること。

提案手法

• 語彙モデリング選択の影響を語彙サイズ、トークン数、OOV率の観点から評価するため、14,436のオープンソースプロジェクトを分析した。
• 識別子をサブワード符号化することで語彙サイズを削減し、意味を保持するため、バイトペア符号化（BPE）を適用した。
• 非英語のソースファイルおよびレアなリテラルを除外するためのヒューリスティックフィルタリングを用い、ノイズと語彙の肥大化を低減した。
• LSTMおよびQRNNアーキテクチャを用いて、10,106プロジェクトの大きなコーパス上で複数のNLMをトレーニングおよび評価した。
• 固定語彙を維持することでトレーニング効率を最適化し、データサイズに比例して線形にスケーリング可能であり、ファインチューニングも高速化した。
• 性能と一般化能力を評価するため、言語モデルタスクおよびコード補完タスクの両方でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 トークンフィルタリング、キャメルケースの処理、サブワードセグメンテーションといった、異なる語彙モデリング選択が、ソースコードにおける語彙サイズとOOV率にどのように影響を与えるか？
• RQ2 どのようなモデリング選択の組み合わせが、語彙の肥大化を防ぎつつ、大規模なコードコーパス（例：1万以上のプロジェクト）上でNLMのトレーニングを可能にするか？
• RQ3 BPEやその他のサブワード技術は、モデル性能を維持したまま、語彙サイズをどの程度まで縮小できるか？
• RQ4 固定された制御された語彙は、大規模なコードデータセットにおけるNLMのトレーニング速度とスケーラビリティにどのように影響を与えるか？
• RQ5 このような大規模コーパスでトレーニングされたNLMは、コード補完といった下流タスクで競争力のある性能を達成できるか？

主な発見

• 語彙モデリングの選択は、語彙サイズに最大3桁の影響を与えることができ、最も大きな影響を与えるのはサブワードセグメンテーションと、まれなまたは非英語のトークンのフィルタリングである。
• BPEに基づくサブワードトークン化は、語彙サイズを制御するために不可欠であり、単純なヒューリスティクス（例：キャメルケースの分割）では大規模なトレーニングには不十分である。
• 著者らは、10,106プロジェクトのコーパス上でNLMを1日未満でトレーニングに成功し、1分間に27プロジェクト、1秒間に50のソースコードファイルを処理する速度を達成した。
• 得られたモデルは、言語モデルタスクおよびコード補完タスクの両方で競争力のある性能を示し、コード上で大規模な事前トレーニングが可能であることを実証した。
• 固定語彙により、データサイズに比例した線形スケーリングが可能となり、ファインチューニングが数分で実行可能となる。これにより、コードインテリジェンスアプリケーションにおける転移学習が実用的になった。
• 本研究は、OOV問題を回避し、コード上で大規模なNLMを実現するには、BPEや戦略的なフィルタリングといった高度な技術が必要であると特定した。