[論文レビュー] On the Applicability of Explainable Artificial Intelligence for Software Requirement Analysis

Behnaz Jamasb, Reza Akbari+1 more|arXiv (Cornell University)|Feb 10, 2023

Software Engineering Research被引用数 4

ひとこと要約

本論文は、LIMEアルゴリズムを用いて機械学習予測の透明性を高める、ソフトウェア要件分類のための説明可能なAI（XAI）アプローチを提案する。PROMISEデータセットを用いた評価において、分類意思決定の理解を向上させ、特徴量分析を支援し、要件工学におけるXAIの価値を、解釈可能性と特徴量関連性の測定可能な利点を伴って示している。

ABSTRACT

The applications of Artificial Intelligence (AI) methods especially machine learning techniques have increased in recent years. Classification algorithms have been successfully applied to different problems such as requirement classification. Although these algorithms have good performance, most of them cannot explain how they make a decision. Explainable Artificial Intelligence (XAI) is a set of new techniques that explain the predictions of machine learning algorithms. In this work, the applicability of XAI for software requirement classification is studied. An explainable software requirement classifier is presented using the LIME algorithm. The explainability of the proposed method is studied by applying it to the PROMISE software requirement dataset. The results show that XAI can help the analyst or requirement specifier to better understand why a specific requirement is classified as functional or non-functional. The important keywords for such decisions are identified and analyzed in detail. The experimental study shows that the XAI can be used to help analysts and requirement specifiers to better understand the predictions of the classifiers for categorizing software requirements. Also, the effect of the XAI on feature reduction is analyzed. The results showed that the XAI model has a positive role in feature analysis.

研究の動機と目的

• 説明可能なAI（XAI）技術がソフトウェア要件分類に応用可能かどうかを調査すること。
• 機能的要件と非機能的要件を区別する説明可能な分類器を開発すること。
• XAIが要件分類における分類器予測の意思決定理解をどのように向上させるかを評価すること。
• XAIが要件分類タスクにおける特徴量選択および削減に与える影響を分析すること。
• 説明可能性技術を用いて、分類意思決定に影響を与える主要なテクスト特徴量を同定すること。

提案手法

• 本研究では、ソフトウェア要件に対する機械学習分類器の予測に対して局所的な説明を生成するために、LIME（Local Interpretable Model-agnostic Explanations）アルゴリズムを採用する。
• PROMISEソフトウェア要件データセットを用いて、要件を機能的または非機能的と分類するための教師あり学習モデルを訓練する。
• LIMEは、トレーニング後、入力特徴量を局所的に変化させ、予測の変化を観測することで、個々の予測を解釈するために適用される。
• 説明は、分類結果に最も寄与した語句や語群の重要度スコアの形で生成される。
• この手法により、特定の要件がどのように分類されたかをアナリストが検査でき、トレーサビリティと検証を支援する。
• 特徴量削減は、LIMEが特定した高影響特徴量の頻度と関連性を複数の予測にわたって分析することで評価される。

実験結果

リサーチクエスチョン

• RQ1 LIMEのようなXAI技術は、ソフトウェア要件分類における機械学習モデルの解釈性をどの程度向上できるか。
• RQ2 要件が機能的または非機能的と分類される際に、最も影響力を持つテクスト特徴量は何か。
• RQ3 XAIの使用は、要件分類における特徴量選択および削減プロセスにどのように影響するか。
• RQ4 XAIは要件エンジニアが分類器の意思決定をよりよく理解し、検証するのを支援できるか。
• RQ5 多様な要件インスタンスにわたって、LIMEが生成する説明の整合性と信頼性はどの程度か。

主な発見

• XAIを強化した分類器は、各予測に対して人間が読みやすい説明を提供することで、透明性を著しく向上させ、アナリストが意思決定を検証できる。
• 「should」、「must」、「user」、および「performance」などのキーワードが、分類結果に一貫して大きな寄与を示した。
• LIMEが生成した説明から、機能的要件はしばしば動作動詞と明確な条件を含むのに対し、非機能的要件は品質特性に重点を置いていることが明らかになった。
• XAIモデルは特徴量分析において肯定的な役割を果たし、分類に適した関連特徴量を特定および優先順位付けするのを支援した。
• 特徴量削減はXAIによって支援され、頻繁に現れる高影響特徴量が体系的に同定され、分析された。
• 実験的評価により、XAIが要件工学ワークフローにおける機械学習モデルの信頼性と使いやすさを向上させることを確認した。