[論文レビュー] Bellwethers: A Baseline Method For Transfer Learning

Rahul Krishna, Tim Menzies|arXiv (Cornell University)|Mar 17, 2017

Software Engineering Research参考文献 101被引用数 6

ひとこと要約

本稿では、ソフトウェア工学における転移学習のシンプルで効果的なベースラインとして、他のプロジェクトの予測性能が一貫して最も高いプロジェクト（ベルウェザー）を提案する。forループを用いて複数のデータセットを走査することで、1つの代表的プロジェクトを特定し、その結果、欠陥予測、作業量推定、悪い臭い検出、および問題の寿命予測の分野において、最先端の転移学習手法と同等の性能を達成する。

ABSTRACT

Software analytics builds quality prediction models for software projects. Experience shows that (a) the more projects studied, the more varied are the conclusions; and (b) project managers lose faith in the results of software analytics if those results keep changing. To reduce this conclusion instability, we propose the use of "bellwethers": given N projects from a community the bellwether is the project whose data yields the best predictions on all others. The bellwethers offer a way to mitigate conclusion instability because conclusions about a community are stable as long as this bellwether continues as the best oracle. Bellwethers are also simple to discover (just wrap a for-loop around standard data miners). When compared to other transfer learning methods (TCA+, transfer Naive Bayes, value cognitive boosting), using just the bellwether data to construct a simple transfer learner yields comparable predictions. Further, bellwethers appear in many SE tasks such as defect prediction, effort estimation, and bad smell detection. We hence recommend using bellwethers as a baseline method for transfer learning against which future work should be compared

研究の動機と目的

• 予測結果がプロジェクト間で著しく変動し、意思決定者の信頼を損なうソフトウェア分析における結論の不安定性を是正すること。
• コミュニティ内の複数のプロジェクトに対して一貫した予測を提供する、1つの安定したプロジェクト（ベルウェザー）を特定することで、結論の変化のペースを低減すること。
• 複雑な最先端技術と同等またはそれを上回る性能を示す、シンプルで普遍的に適用可能な転移学習のベースライン手法を確立すること。
• 欠陥予測、作業量推定、コードスモール検出など、多様なソフトウェア工学タスクにおいて、ベルウェザー手法の汎用性と頑健性を実証すること。
• 今後の転移学習研究のための実用的で低複雑性のベンチマークを提供し、安定的で解釈可能なベースラインとの比較を促進すること。

提案手法

• N個のプロジェクトを走査するforループを用い、標準的なデータマイナ（例：ランダムフォレスト）を用いて各プロジェクトの他の全プロジェクトに対する予測性能を評価することで、ベルウェザーとなるプロジェクトを同定する。
• 選定されたベルウェザーのデータを用いて、他のプロジェクトの結果を予測するための1つの転移学習器（例：ランダムフォレスト）を学習させる。
• ベルウェザー手法を、欠陥予測、作業量推定、問題のクローズ時間、および悪しきコードスモール検出（God Class、Feature Envy）といった複数のソフトウェア工学タスクに適用する。
• ベルウェザー手法の性能を、先進的な転移学習手法（TCA+、転移ナイーブベイズ、価値認知ブースティング）と比較する。
• ランダムネスの影響を軽減し、安定した性能推定を確保するため、ランダムフォレストとSMOTEを用いて30回の繰り返し実験を実施する。
• 性能評価には単一の指標G（式2）を用い、追加の指標は再現パッケージに含まれる。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ内の複数のプロジェクトにおいて、他のすべてのプロジェクトの結果を安定的かつ高精度に予測できる単一のプロジェクト（ベルウェザー）が存在するか？
• RQ2 ベルウェザー手法は、欠陥予測、作業量推定、問題の寿命予測、コードスモール検出など、多様なソフトウェア工学タスクにおいて、複雑な最先端の転移学習アルゴリズムと同等の予測性能を達成できるか？
• RQ3 類似性ベースおよび次元削減ベースの転移学習手法と比較して、ベルウェザー手法の精度と安定性はどのように異なるか？
• RQ4 ベルウェザー効果は、ファイル、クラス、メソッドといった異なる粒度や、異なるソフトウェア工学サブドメインにおいても一貫しているか？
• RQ5 ベルウェザー手法は、今後のソフトウェア工学における転移学習研究の信頼できるシンプルなベースラインとして機能できるか？

主な発見

• ベルウェザー効果は、欠陥予測、作業量推定、問題の寿命予測、悪しきコードスモール検出といった複数のソフトウェア工学タスクにわたり存在する。
• ベルウェザー手法は、TCA+、転移ナイーブベイズ、価値認知ブースティングといった高度な転移学習手法と同等の予測性能を達成する。
• ベルウェザー手法は実装が非常にシンプルで、標準的なデータマイナを囲むforループのみで実現可能であり、非常にアクセス可能で効率的である。
• 同じベルウェザーが最良の性能を示す限り、予測結果が一貫するため、結論が安定する。
• 同じ属性を持つソース・ターゲットプロジェクト間（同種の転移学習）の設定では、ベルウェザー手法はより複雑な転移学習アプローチを上回るか、同等の性能を示す。
• 異なる属性セットを持つ異種の転移学習（異種転移学習）の場合は、ベルウェザー効果が十分に確立されていないため、本研究では次元削減手法の適用を推奨する。