[論文レビュー] Natural Language or Not (NLoN) - A Package for Software Engineering Text Analysis Pipeline

Mika Mäntylä, Fabio Calefato+1 more|arXiv (Cornell University)|Mar 20, 2018

Software Engineering Research参考文献 16被引用数 12

ひとこと要約

本稿では、11の言語的特徴量と文字トライグラムを用いて、ソフトウェア工学文書を自然言語かそれ以外かに分類するオープンソースのRパッケージNLoNを紹介する。Lasso回帰で学習された本手法は、Mozilla、Kubernetes、Luceneの3つの異なるデータソースでAUCスコア0.976〜0.987を達成し、NLPパイプラインにおける軽量で再利用可能な前処理ソリューションを提供する。

ABSTRACT

The use of natural language processing (NLP) is gaining popularity in software engineering. In order to correctly perform NLP, we must pre-process the textual information to separate natural language from other information, such as log messages, that are often part of the communication in software engineering. We present a simple approach for classifying whether some textual input is natural language or not. Although our NLoN package relies on only 11 language features and character tri-grams, we are able to achieve an area under the ROC curve performances between 0.976-0.987 on three different data sources, with Lasso regression from Glmnet as our learner and two human raters for providing ground truth. Cross-source prediction performance is lower and has more fluctuation with top ROC performances from 0.913 to 0.980. Compared with prior work, our approach offers similar performance but is considerably more lightweight, making it easier to apply in software engineering text mining pipelines. Our source code and data are provided as an R-package for further improvements.

研究の動機と目的

• ソフトウェア工学文書マイニングパイプラインにおける自然言語と非自然言語（例：コード、ログ、スタックトレース）の区別という課題に対処すること。
• データベースダンプやカスタムパーサーを必要としない、複雑さのない軽量で再利用可能なツールを開発すること。
• 最小限の手動ラベリング（2,000行あたり約4時間）で、新しいソフトウェアプロジェクトへの分類器の効率的かつ低コストな適応を可能にすること。
• 正規表現に代わる機械学習ベースの代替手法を提供し、多様なソフトウェア工学文書ソースにわたってより優れた一般化性能を実現すること。
• 感情分析やトピックモデリングなどのNLPタスクを、処理前に非自然言語コンテンツをフィルタリングすることで支援すること。

提案手法

• NLoNパッケージは、ストップワード比、大文字頻度、標点符号数などの11の言語的特徴量を用いて、入力テキストの特徴を記述する。
• 言語検出の文献に由来するように、言語固有のパターンを捉えるために文字トライグラムを特徴量セットとして統合する。
• 人間によるアノテーションデータを用いて、GlmnetライブラリのLasso回帰モデルを学習し、各行を自然言語かそれ以外かに分類する。
• 正例は2名のラベラーによるラベル付けにより確立され、ラベル品質の妥当性を検証するために評価者間一致度が用いられる。
• モデルはプロジェクト固有のデータ（最大2,000行）で学習され、10分割交差検証とクロスソース予測を用いて評価される。
• 本ツールはオープンソースのRパッケージとして実装されており、ソフトウェア工学文書分析パイプラインへの容易な統合と拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 軽量で機械学習ベースの分類器は、ソフトウェア工学アーティファクトにおける自然言語と非自然言語テキストを効果的に区別できるか？
• RQ2 NLoNモデルは、バグレポート、チャットログ、メールなど、さまざまなソフトウェア工学データソースに一般化して機能するか？
• RQ3 AUCスコアと計算の単純さの観点から、先行研究と比較してNLoNモデルのパフォーマンスはどの程度か？
• RQ4 複数のプロジェクトに共通のモデルを適用した場合、プロジェクト固有の学習に比べてパフォーマンスがどの程度低下するか？
• RQ5 最小限の人的作業と複雑な設定なしに、新しいプロジェクトにモデルを効果的に適応できるか？

主な発見

• NLoNモデルは、Mozilla Firefox、Kubernetes、Apache Luceneという3つの異なるソフトウェアプロジェクトのデータを学習およびテストした場合、受信器操作特性曲線下の面積（AUC）が0.976〜0.987の間で達成される。
• クロスソース予測性能は低いが依然として強く、AUCは0.913〜0.980の範囲にあり、一般化可能性は高いが、ソースの方向によって性能にばらつきが生じる。
• 全データを用いた学習とプロジェクト固有のデータを用いた学習では、パフォーマンスに差がなく、モデルの一般化性能が堅牢であることが示唆される。
• 同じソースからのデータで学習した場合にモデルの性能が最も高く、MozillaのイシューコメントではAUCが0.987、Luceneのメールでは0.981を記録した。
• Kubernetesのチャットメッセージのデータを用いてMozillaのイシューコメントを予測した場合、AUCが0.980に保たれ、一部の方向において優れたプロジェクト間移行性を示している。
• 強力なパフォーマンスにもかかわらず、MozillaのコメントおよびKubernetesのチャットからLuceneのメールへのクロス予測は最も弱い結果（AUC 0.913）を示し、ドメイン固有の差がモデルの一般化に影響を及ぼす可能性を示唆している。