[논문 리뷰] On the Applicability of Explainable Artificial Intelligence for Software Requirement Analysis

Behnaz Jamasb, Reza Akbari외 1명|arXiv (Cornell University)|2023. 02. 10.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 소프트웨어 요구사항 분류를 위한 설명 가능한 인공지능(XAI) 접근법을 제안하며, LIME 알고리즘을 활용해 기계학습 예측의 투명성을 향상시킨다. PROMISE 데이터셋을 대상으로 평가한 결과, 분류 결정에 대한 분석가의 이해도가 향상되고 특성 분석에 기여하여, 요구사항 공학 분야에서 XAI의 가치를 측정 가능한 해석 가능성과 특성 관련성 향상 측면에서 입증한다.

ABSTRACT

The applications of Artificial Intelligence (AI) methods especially machine learning techniques have increased in recent years. Classification algorithms have been successfully applied to different problems such as requirement classification. Although these algorithms have good performance, most of them cannot explain how they make a decision. Explainable Artificial Intelligence (XAI) is a set of new techniques that explain the predictions of machine learning algorithms. In this work, the applicability of XAI for software requirement classification is studied. An explainable software requirement classifier is presented using the LIME algorithm. The explainability of the proposed method is studied by applying it to the PROMISE software requirement dataset. The results show that XAI can help the analyst or requirement specifier to better understand why a specific requirement is classified as functional or non-functional. The important keywords for such decisions are identified and analyzed in detail. The experimental study shows that the XAI can be used to help analysts and requirement specifiers to better understand the predictions of the classifiers for categorizing software requirements. Also, the effect of the XAI on feature reduction is analyzed. The results showed that the XAI model has a positive role in feature analysis.

연구 동기 및 목표

• 설명 가능한 인공지능(XAI) 기법이 소프트웨어 요구사항 분류에 어떻게 적용될 수 있는지 조사하기 위해.
• 기능적 요구사항과 비기능적 요구사항을 구분하는 설명 가능한 분류기 개발을 위해.
• XAI가 요구사항 분류 작업에서 분류기 예측에 대한 분석가의 이해도를 어떻게 향상시키는지 평가하기 위해.
• XAI가 요구사항 분류 작업에서 특성 선택 및 감소 과정에 어떤 영향을 미치는지 분석하기 위해.
• 설명 가능성 기법을 활용해 분류 결정에 영향을 미치는 주요 텍스트 특성들을 식별하기 위해.

제안 방법

• 연구는 소프트웨어 요구사항에 대한 기계학습 분류기의 예측에 대해 局소적 해석을 생성하기 위해 LIME(Local Interpretable Model-agnostic Explanations) 알고리즘을 활용한다.
• 기능적 또는 비기능적 요구사항으로 분류하기 위해 PROMISE 소프트웨어 요구사항 데이터셋을 기반으로 지도 학습 모델을 훈련시킨다.
• LIME는 훈련 후에 적용되어 입력 특성의 변형을 통해 국소적인 예측 변화를 관찰함으로써 개별 예측을 해석한다.
• 설명은 특성 중요도 점수 형태로 생성되며, 분류 결과에 가장 기여한 단어나 어구를 강조한다.
• 이 방법은 특정 요구사항이 왜 특정 방식으로 분류되었는지 분석할 수 있도록 하여 추적성과 검증을 지원한다.
• 특성 감소는 LIME가 다수의 예측에서 고영향도 특성을 식별한 빈도와 관련성을 평가함으로써 분석된다.

실험 결과

연구 질문

• RQ1 LIME와 같은 XAI 기법이 소프트웨어 요구사항 분류에서 기계학습 모델의 해석 가능성에 얼마나 기여하는가?
• RQ2 요구사항이 기능적 또는 비기능적으로 분류되는 데 가장 영향을 미치는 텍스트 특성들은 무엇인가?
• RQ3 XAI의 사용이 요구사항 분류 과정에서 특성 선택 및 감소에 어떤 영향을 미치는가?
• RQ4 XAI는 요구사항 엔지니어가 분류기 결정을 더 잘 이해하고 검증하는 데 도움이 될 수 있는가?
• RQ5 다양한 요구사항 인스턴스 간에 LIME가 생성한 설명의 일관성과 신뢰성은 어떠한가?

주요 결과

• XAI를 통한 강화된 분류기는 각 예측에 대한 인간이 이해할 수 있는 설명을 제공함으로써 투명성을 크게 향상시켰으며, 분석가가 결정을 검증할 수 있도록 했다.
• 'should', 'must', 'user', 'performance'와 같은 핵심 단어들이 분류 결과에 지속적으로 기여하는 것으로 확인되었다.
• LIME가 생성한 설명은 기능적 요구사항이 일반적으로 동사와 구체적인 조건을 포함하는 반면, 비기능적 요구사항은 품질 특성에 중점을 둔다는 점을 드러냈다.
• XAI 모델은 특성 분석에서 긍정적인 역할을 하였으며, 분류에 관련된 특성을 식별하고 우선순위를 정하는 데 기여하였다.
• 특성 감소 과정에서 XAI는 빈도가 높고 영향력이 큰 특성을 체계적으로 식별하고 분석함으로써 지원하였다.
• 실험적 평가를 통해 XAI가 요구사항 공학 워크플로우에서 기계학습 모델의 신뢰성과 사용성 향상에 기여한다는 것이 확인되었다.