[論文レビュー] Automatically detecting the conflicts between software requirements based on finer semantic analysis

Weize Guo, Li Zhang+1 more|arXiv (Cornell University)|Mar 3, 2021

Software Engineering Research参考文献 36被引用数 10

ひとこと要約

本稿では、自然言語での機能要件の微細な意味構造を分析することで、自動的に矛盾を検出する新しい手法FSARCを提案する。意味的メタモデルとPOSや依存解析などのNLP技術を用い、7種類の矛盾タイプを100%の再現率と83.88%の平均適合率で同定した。これは、形式的なテンプレートや外部アーティファクトに依存しない、初期要件検証に実用的なソリューションを提供する。

ABSTRACT

Context: Conflicts between software requirements bring uncertainties to product development. Some great approaches have been proposed to identify these conflicts. However, they usually require the software requirements represented with specific templates and/or depend on other external source which is often uneasy to build for lots of projects in practice. Objective: We aim to propose an approach Finer Semantic Analysis-based Requirements Conflict Detector (FSARC) to automatically detecting the conflicts between the given natural language functional requirements by analyzing their finer semantic compositions. Method: We build a harmonized semantic meta-model of functional requirements with the form of eight-tuple. Then we propose algorithms to automatically analyze the linguistic features of requirements and to annotate the semantic elements for their semantic model construction. And we define seven types of conflicts as long as their heuristic detecting rules on the ground of their text pattern and semantical dependency. Finally, we design and implement the algorithm for conflicts detection. Results: The experiment with four requirement datasets illustrates that the recall of FSARC is nearly 100% and the average precision is 83.88% on conflicts detection. Conclusion: We provide a useful tool for detecting the conflicts between natural language functional requirements to improve the quality of the final requirements set. Besides, our approach is capable of transforming the natural language functional requirements into eight semantic tuples, which is useful not only the detection of the conflicts between requirements but also some other tasks such as constructing the association between requirements and so on.

研究の動機と目的

• 業界で一般的に見られる自然言語の機能要件における矛盾の検出という課題に取り組むこと。
• 開発初期段階では通常入手不可能な、形式的なテンプレートや外部アーティファクト（例：コードや性能制約）に依存しないこと。
• 生の自然言語要件から直接、自動的かつスケーラブルに矛盾を同定する手法を構築すること。
• 機能要件のコアな要素を捉えるための統合的意味的メタモデルを提供すること。
• UAV、WorldVista、通信管理、太陽光発電供給など、一般的な実世界の要件フォーマット（例：「shall」形式文）に焦点を当て、実プロジェクトでの実用的矛盾検出を可能にすること。

提案手法

• 機能要件の微細な意味的コンponentsを表現する統合的8タプル意味的メタモデルの構築。
• 自然言語要件から言語的特徴を抽出するために、品詞タグ付け（POS）と意味的依存解析（SDP）の適用。
• NLPの出力に基づき、被写体、動詞、目的語などの意味的要素を自動的にラベル付けるヒューリスティックルールの設計。
• テキストパターンと意味的依存に基づいて、リソース競合や入出力相互作用など7種類の明確な矛盾タイプを定義。
• アノテートされた意味的タプル間でルールベースの一致をチェックする矛盾検出アルゴリズムの実装。
• UAV、WorldVista、通信管理、太陽光発電供給など、多様な分野にまたがる5つのオープン要件データセットを用いたアプローチの検証。

実験結果

リサーチクエスチョン

• RQ1 微細な意味的メタモデルは、自然言語の機能要件のコアコンponentsを正確に表現できるか？
• RQ2 POSやSDPなどのNLP技術は、実世界の要件テキストにおける意味的要素を同定・ラベル付けするのにどの程度効果的か？
• RQ3 事前に定義されたヒューリスティックルールは、多様な要件セットにおいて7種類の矛盾タイプを高い再現率と適合率で検出できるか？
• RQ4 形式的なテンプレートを必要とせずに、異なる分野や要件フォーマットに一般化可能か、その範囲はどの程度か？
• RQ5 精度と再現率の観点から、矛盾検出アルゴリズムの性能は、人的ラベル付けと比べてどの程度か？

主な発見

• 意味的要素ラベル付けアルゴリズムは、3つのオープン要件データセットで平均94.93%の正確性を達成し、意味的アノテーションにおける優れた性能を示した。
• 矛盾検出アルゴリズムは、4つの多様な要件データセットで100.00%の再現率と83.88%の平均適合率を達成し、既知の矛盾をほぼ完全に検出できることを示した。
• 評価においては、誤検出が1件のみ検出されたが、これは不正確なエンティティ認識に起因し、より良いパーサーで修正可能であった。
• 宇宙航空、通信、エネルギー分野など、異なる分野にわたり高い一般化性を示し、一貫したパフォーマンスを発揮した。
• 人的ラベル付けは2名の著者の二重レビューによって検証され、主観性が低減され、基準ラベルの信頼性が向上した。
• 実行可能コードや性能制約などの外部アーティファクトを必要としないため、既存の手法に比べて初期段階の要件検証に適している。