[論文レビュー] Grand Challenges of Traceability: The Next Ten Years

Giuliano Antoniol, Jane Cleland‐Huang+2 more|arXiv (Cornell University)|Oct 9, 2017

Software Engineering Research参考文献 4被引用数 12

ひとこと要約

本論文は、今後10年間におけるソフトウェアトレーサビリティ分野の包括的課題を特定し、データセットの多様性、検証、フィードバックの向上に向けた実行可能な戦略を提案する。研究コミュニティにおける再現性と多分野への適用可能性を高めるために、標準化されたデータフォーマット、データセット共有（包括的に否定的結果を含む）のインcentives、およびコミュニティ主導のデータキュレーションを提唱する。

ABSTRACT

In 2007, the software and systems traceability community met at the first Natural Bridge symposium on the Grand Challenges of Traceability to establish and address research goals for achieving effective, trustworthy, and ubiquitous traceability. Ten years later, in 2017, the community came together to evaluate a decade of progress towards achieving these goals. These proceedings document some of that progress. They include a series of short position papers, representing current work in the community organized across four process axes of traceability practice. The sessions covered topics from Trace Strategizing, Trace Link Creation and Evolution, Trace Link Usage, real-world applications of Traceability, and Traceability Datasets and benchmarks. Two breakout groups focused on the importance of creating and sharing traceability datasets within the research community, and discussed challenges related to the adoption of tracing techniques in industrial practice. Members of the research community are engaged in many active, ongoing, and impactful research projects. Our hope is that ten years from now we will be able to look back at a productive decade of research and claim that we have achieved the overarching Grand Challenge of Traceability, which seeks for traceability to be always present, built into the engineering process, and for it to have "effectively disappeared without a trace". We hope that others will see the potential that traceability has for empowering software and systems engineers to develop higher-quality products at increasing levels of complexity and scale, and that they will join the active community of Software and Systems traceability researchers as we move forward into the next decade of research.

研究の動機と目的

• トレーサビリティ研究における多様で再利用可能かつ標準化されたデータセットの不足を是正する。
• 専門家による検証と再現研究を通じて、データ品質と信頼性を向上させる。
• データ共有、フィードバック、キュレーションを奨励することで、コミュニティ連携を強化する。
• 標準化されたフォーマットとメタデータへの投資を通じて、分野間の相互運用性を強化する。
• ベンチマークと再現パッケージの導入により、トレーサビリティ研究の長期的持続可能性を支援する。

提案手法

• 再利用可能性を保証するため、コミュニティ主導のデータセットキュレーション、匿名化、パッケージングフレームワークを提唱する。
• 研究者がデータセット（否定的結果を含む）を共有するインcentiveとして、アーティファクトバッジと賞を推奨する。
• 複数拠点にまたがるオープンソース研究を通じて、トレーサビリティリンクの妥当性を検証し、信頼性を向上させる。
• レビュープロセス、専門家の関与、データの出自を記録するためのメタデータ標準を確立する。
• 公平な比較が可能となるよう、再現パッケージと標準化された報告形式の導入を奨励する。
• 高品質なグランド・トゥルースデータセットの増加を目的として、データ検証に特化した助成金申請を要請する。

実験結果

リサーチクエスチョン

• RQ1 トレーサビリティ研究コミュニティは、異なる分野にまたがるベンチマークデータセットの多様性と再利用可能性をどのように向上できるか？
• RQ2 トレーサビリティグランド・トゥルースデータセットの品質と専門家による検証を保証するメカニズムは何か？
• RQ3 研究者が肯定的結果だけでなく、否定的結果や再現パッケージの共有をどのようにインcentivizeできるか？
• RQ4 標準化されたフォーマットとメタデータは、トレーサビリティ研究における相互運用性と再現性をどのように向上させるか？
• RQ5 コミュニティ全体でのキュレーションとフィードバックシステムは、トレーサビリティデータセットの長期的持続可能性をどのように改善できるか？

主な発見

• 多様で標準化されていないデータセットの不足が、トレーサビリティ技術の異なる分野への一般化を制限している。
• 多くの既存データセットは専門家による検証を受けておらず、ベンチマーク用途における信頼性と有用性が低下している。
• バッジ、賞、特別号の呼びかけを通じたデータ共有インcentiveの導入が、データ寄与の増加と透明性の向上に顕著な効果をもたらした。
• 複数拠点にまたがる再現研究は、トレーサビリティリンク予測の信頼性と再現性を向上させる。
• 出版物に否定的結果や再現パッケージを含めることで、研究手法の厳密性が向上し、段階的改善が促進される。
• 標準化されたメタデータとパッケージングガイドラインは、データセットのキュレーション、匿名化、再利用を効果的に行うために不可欠である。