[논문 리뷰] Grand Challenges of Traceability: The Next Ten Years

Giuliano Antoniol, Jane Cleland‐Huang외 2명|arXiv (Cornell University)|2017. 10. 09.

Software Engineering Research참고 문헌 4인용 수 12

한 줄 요약

이 논문은 향후 10년간 소프트웨어 추적성 분야의 핵심 과제를 규명하고, 데이터셋 다양성, 검증, 피드백 향상에 대한 실행 가능한 전략을 제안한다. 연구는 표준화된 데이터 형식, 데이터셋 공유(부정 결과 포함)를 위한 인cent라이브, 공동체 기반의 쿠레이션을 주장하여 추적성 연구의 재현 가능성과 다분야 적용 가능성을 향상시킨다.

ABSTRACT

In 2007, the software and systems traceability community met at the first Natural Bridge symposium on the Grand Challenges of Traceability to establish and address research goals for achieving effective, trustworthy, and ubiquitous traceability. Ten years later, in 2017, the community came together to evaluate a decade of progress towards achieving these goals. These proceedings document some of that progress. They include a series of short position papers, representing current work in the community organized across four process axes of traceability practice. The sessions covered topics from Trace Strategizing, Trace Link Creation and Evolution, Trace Link Usage, real-world applications of Traceability, and Traceability Datasets and benchmarks. Two breakout groups focused on the importance of creating and sharing traceability datasets within the research community, and discussed challenges related to the adoption of tracing techniques in industrial practice. Members of the research community are engaged in many active, ongoing, and impactful research projects. Our hope is that ten years from now we will be able to look back at a productive decade of research and claim that we have achieved the overarching Grand Challenge of Traceability, which seeks for traceability to be always present, built into the engineering process, and for it to have "effectively disappeared without a trace". We hope that others will see the potential that traceability has for empowering software and systems engineers to develop higher-quality products at increasing levels of complexity and scale, and that they will join the active community of Software and Systems traceability researchers as we move forward into the next decade of research.

연구 동기 및 목표

• 추적성 연구에서 다양하고 재사용 가능한, 표준화된 데이터셋의 부족을 해결한다.
• 전문가 검증과 복제 연구를 통해 데이터 품질과 신뢰성을 향상시킨다.
• 데이터 공유, 피드백, 쿠레이션을 장려함으로써 공동체 협업을 강화한다.
• 표준화된 형식과 메타데이터에 투자하여 영역 간 상호운용성을 향상시킨다.
• 베이치마킹 및 복제 팩키지 지원을 통해 추적성 연구의 장기적 지속 가능성을 확보한다.

제안 방법

• 재사용 가능성을 보장하기 위해 공동체 기반의 데이터셋 쿠레이션, 익명화, 패키징 프레임워크를 제안한다.
• 연구자들이 데이터셋(부정 결과 포함)을 공유하도록 유도하기 위해 아티팩트 배지와 상을 도입한다.
• 다중 현장 참여를 포함한 오픈소스 연구를 도입하여 추적성 링크의 유효성을 검증하고 신뢰도를 향상시킨다.
• 검토 과정, 전문가 참여, 데이터 기원을 기록하기 위해 데이터셋의 메타데이터 표준을 수립한다.
• 공정한 신규 추적성 기법 비교를 가능하게 하기 위해 복제 팩키지와 표준화된 보고서를 장려한다.
• 데이터 검증에 집중한 기금 지원 제안서를 통해 고품질 기준 데이터셋의 수를 늘리자고 촉구한다.

실험 결과

연구 질문

• RQ1 추적성 연구 공동체는 다양한 영역 간 벤치마크 데이터셋의 다양성과 재사용 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 추적성 기준 데이터셋의 품질과 전문가 검증을 보장하기 위한 메커니즘은 무엇인가?
• RQ3 연구자들이 긍정 결과뿐 아니라 부정 결과와 복제 팩키지도 공유하도록 유도하는 방법은 무엇인가?
• RQ4 표준화된 형식과 메타데이터는 추적성 연구에서 상호운용성과 재현 가능성 향상에 어떤 역할을 하는가?
• RQ5 공동체 수준의 쿠레이션 및 피드백 시스템은 추적성 데이터셋의 장기적 지속 가능성 향상에 어떻게 기여하는가?

주요 결과

• 다양하고 표준화된 데이터셋의 부족은 추적성 기법의 다양한 영역에 대한 일반화를 제한한다.
• 많은 기존 데이터셋은 전문가 검증을 받지 못해 신뢰성과 벤치마킹에 대한 유용성에 의심이 간다.
• 배지, 상, 특별호 콘텐츠 콜을 통해 데이터 공유를 인cent라이즈하면 기여도와 투명도가 크게 증가한다.
• 다중 현장에서 수행된 복제 연구는 추적성 링크 예측의 신뢰성과 재현 가능성을 향상시킨다.
• 논문에 부정 결과와 복제 팩키지를 포함시키면 방법론적 엄밀성이 향상되고 점진적 개선을 지원한다.
• 표준화된 메타데이터와 패키징 가이드라인은 데이터셋의 쿠레이션, 익명화, 재사용을 효과적으로 수행하기 위해 필수적이다.