[논문 리뷰] Building a Pilot Software Quality-in-Use Benchmark Dataset

Issa Atoum, Chih How Bong외 1명|arXiv (Cornell University)|2015. 09. 18.

Software Engineering Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 소프트웨어 품질의 사용성에 초점을 맞춘 피LOT 기준 데이터셋을 제안하며, 세 명의 전문가가 자체 설계한 체계에 따라 문장을 주석 처리한 자료를 포함한다. 편향을 줄이기 위해 재정비를 거친 후, 이면자 간 일치도는 중간에서 높은 수준에 도달하여(카파 통계), 소프트웨어 품질 평가 분야에서 감성 분석 모델을 훈련하고 평가하는 데 신뢰할 수 있는 자원으로서의 기반을 마련한다.

ABSTRACT

Prepared domain specific datasets plays an important role to supervised learning approaches. In this article a new sentence dataset for software quality-in-use is proposed. Three experts were chosen to annotate the data using a proposed annotation scheme. Then the data were reconciled in a (no match eliminate) process to reduce bias. The Kappa, k statistics revealed an acceptable level of agreement; moderate to substantial agreement between the experts. The built data can be used to evaluate software quality-in-use models in sentiment analysis models. Moreover, the annotation scheme can be used to extend the current dataset.

연구 동기 및 목표

• 소프트웨어 공학 분야에서의 지도 학습을 지원하기 위해 도메인 특화의 주석 처리된 데이터셋을 구축하기 위해.
• 소프트웨어 품질 관련 문장을 레이블링하기 위한 주석 체계를 개발하고 검증하기 위해.
• ‘일치하지 않음 제거’ 프로세스를 활용한 전문가 재정비를 통해 데이터셋의 신뢰성 확보 및 편향 감소를 위해.
• 소프트웨어 품질 평가 분야에서 감성 분석 모델 평가를 위한 기초를 마련하기 위해.
• 향후 데이터셋 확장에 활용 가능한 제안된 주석 체계 기반의 데이터셋 확장 가능성을 보장하기 위해.

제안 방법

• 세 명의 도메인 전문가가 소프트웨어 관련 텍스트의 문장을 사용자 중심 품질 측면에 초점을 맞춘 자체 설계 주석 체계를 활용해 주석 처리했다.
• 일치하지 않는 주석을 제거하여 편향을 최소화하고 일관성을 향상시키기 위해 재정비 프로세스를 적용했다.
• 이면자 간 일치도를 측정하기 위해 코헨의 카파 통계를 계산했다.
• 최종 데이터셋은 특히 소프트웨어 품질 평가에서의 감성 분석을 위한 지도 학습 작업을 지원하도록 구조화되었다.
• 향후 데이터셋 확장에 대비해 확장 가능한 주석 체계가 설계되었다.
• 데이터셋은 CITA 2015 컫런스 프로ceedings와 일치하도록 수집 및 처리되었다.

실험 결과

연구 질문

• RQ1 어떻게 신뢰할 수 있고 도메인 특화된 소프트웨어 품질의 사용성에 대한 기준 데이터셋을 구축할 수 있는가?
• RQ2 제안된 체계를 사용할 때 전문가 주석자가 품질의 사용성 레이블에 얼마나 높은 일치도를 보이는가?
• RQ3 재정비 프로세스는 전문가 주석 처리 소프트웨어 품질 데이터의 편향을 효과적으로 줄일 수 있는가?
• RQ4 최종 데이터셋은 감성 분석 모델의 훈련 및 평가에 대해 어느 정도의 신뢰성을 가지는가?
• RQ5 제안된 주석 체계는 향후 데이터셋 확장에 재사용 및 확장이 가능한가?

주요 결과

• 코헨의 카파 통계로 측정한 이면자 간 일치도는 중간에서 높은 수준에 도달하여 주석 품질의 신뢰성을 나타낸다.
• '일치하지 않음 제거' 재정비 프로세스는 편향을 효과적으로 줄이고 전문가 주석 간 일관성을 향상시켰다.
• 최종 데이터셋은 소프트웨어 품질의 사용성 맥락에서 감성 분석 모델의 훈련 및 평가에 적합하다.
• 제안된 주석 체계는 향후 추가 데이터로 데이터셋을 확장하기 위해 강력하고 재사용 가능한 구조를 갖추고 있다.
• 데이터셋은 성공적으로 9회차 아시아 국제 IT 회의(CITA 2015) 프로ceedings에 게재되었다.
• 본 연구는 전문가 주석 처리 문장을 활용한 고품질 기준 데이터셋을 구축하는 것이 가능함을 입증한다.