[論文レビュー] Building a Pilot Software Quality-in-Use Benchmark Dataset

Issa Atoum, Chih How Bong+1 more|arXiv (Cornell University)|Sep 18, 2015

Software Engineering Research参考文献 16被引用数 5

ひとこと要約

本論文は、ソフトウェア品質の使用に関する文を3名の専門家が独自のスキームに従ってアノテートしたパイロットベンチマークデータセットを提案する。バイアスを低減するための調整を経て、アノテーター間整合性は中程度から高水準に達した（カッパ統計量）、これによりソフトウェア品質評価におけるセンチメント分析モデルの学習および評価に信頼できるリソースが得られた。

ABSTRACT

Prepared domain specific datasets plays an important role to supervised learning approaches. In this article a new sentence dataset for software quality-in-use is proposed. Three experts were chosen to annotate the data using a proposed annotation scheme. Then the data were reconciled in a (no match eliminate) process to reduce bias. The Kappa, k statistics revealed an acceptable level of agreement; moderate to substantial agreement between the experts. The built data can be used to evaluate software quality-in-use models in sentiment analysis models. Moreover, the annotation scheme can be used to extend the current dataset.

研究の動機と目的

• ソフトウェア工学における教師あり学習を支援するためのドメイン固有のアノテート済みデータセットを構築すること。
• ソフトウェア品質関連の文をラベル付けるためのアノテーションスキームを開発および検証すること。
• 「一致なし削除」プロセスを用いた専門家による調整を通じて、データセットの信頼性を確保しバイアスを低減すること。
• ソフトウェア品質評価におけるセンチメント分析モデルの評価に基盤を提供すること。
• 今後のデータセット拡張に向け、提案されたアノテーションフレームワークを用いたデータセットの拡張を可能にすること。

提案手法

• 3名のドメイン専門家が、品質の使用に関する側面に焦点を当てた独自のアノテーションスキームに従い、ソフトウェア関連のテキストからの文をアノテートした。
• 不一致のアノテーションを削除することでバイアスを低減し、一貫性を向上させるための調整プロセスを適用した。
• アノテーター間整合性を測定するために、スパイクのカッパ統計量が計算された。
• 最終的なデータセットは、特にソフトウェア品質評価におけるセンチメント分析を目的とした教師あり学習タスクをサポートするように構造化された。
• 今後のデータセット拡張に向け、拡張可能なようにアノテーションスキームが設計された。
• データセットは、CITA 2015の会議プログラムに準拠して収集および処理された。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア品質の使用に関する信頼性の高いドメイン固有のベンチマークデータセットは、どのように構築できるか？
• RQ2 提案されたスキームを用いた専門家アノテーターは、品質の使用に関するラベルについてどの程度一致するか？
• RQ3 調整プロセスは、専門家がアノテートしたソフトウェア品質データのバイアスを効果的に低減できるか？
• RQ4 得られたデータセットは、センチメント分析モデルの学習および評価にどの程度信頼できるか？
• RQ5 提案されたアノテーションスキームは、将来的なデータセット拡張に再利用可能で拡張可能か？

主な発見

• スパイクのカッパ統計量で測定されたアノテーター間整合性は、中程度から高水準に達し、信頼できるアノテーション品質を示している。
• 「一致なし削除」プロセスによる調整は、バイアスを効果的に低減し、専門家アノテーションの一貫性を向上させた。
• 最終的なデータセットは、ソフトウェア品質の使用に関する文脈におけるセンチメント分析モデルの学習および評価に適している。
• 提案されたアノテーションスキームは、信頼性があり、今後のデータ拡張に再利用可能である。
• データセットは、9回目のアジアにおけるIT国際会議（CITA 2015）の会議録として、正常に発表された。
• 本研究は、専門家がアノテートした文を用いて、高品質なベンチマークデータセットを構築する可能性が示された。