[論文レビュー] NALABS: Detecting Bad Smells in Natural Language Requirements and Test Specifications

Kostadin Rajkovic, Eduard Paul Enoiu|arXiv (Cornell University)|Feb 11, 2022

Software Engineering Research被引用数 7

ひとこと要約

NALABS は、曖昧さ、選択的表現、主観性、弱い表現といった品質上の問題を特定するための語彙ベースのメトリクスを用いて、自然言語で記述された要件およびテスト仕様の悪い臭いを検出するツールです。12種類の悪い臭いの兆候をルールベースの分析により自動検出することで、産業分野の要件文書における保守性および理解可能性の問題を早期に特定できます。

ABSTRACT

In large-scale embedded system development, requirement and test specifications are often expressed in natural language. In the context of developing such products, requirement review is performed in many cases manually using these specifications as a basis for quality assurance. Low-quality specifications can have expensive consequences during the requirement engineering process. Especially, if feedback loops during requirement engineering are long, leading to artifacts that are not easily maintainable, are hard to understand, and are inefficient to port to other system variants. We use the idea of smells to specifications expressed in natural language, defining a set of specifications for bad smells. We developed a tool called NALABS (NAtural LAnguage Bad Smells), available on https://github.com/eduardenoiu/NALABS and used for automatically checking specifications. We discuss some of the decisions made for its implementation, and future work.

研究の動機と目的

• 自然言語要件およびテストスペックにおける品質欠陥を自動検出するためのツールが不足しているという問題に対処すること。
• 保守性を超えて、複雑さ、読みやすさ、構造的メトリクスを組み込んだ、既存の悪い臭い検出を拡張すること。
• 実用的でオープンソースのツールを提供し、産業分野での使用を想定した、仕様の欠陥を早期に検出すること。
• 実際の産業分野の要件文書における悪い臭い検出の適用可能性を、ツールの導入を通じて検証すること。
• 問題のある言語的パターンを特定することで、要件エンジニアが仕様の品質を向上させることを支援すること。

提案手法

• NALABS は、事前に定義されたキーワードリストを用いたルールベースのアプローチを採用し、自然言語アーティファクトにおける12種類の異なる悪い臭いを検出します。
• Excel形式で保存された要件およびテストスペック文書を処理し、言語的パターン照合を用いて問題のある表現を特定します。
• 曖昧さ、選択的表現、主観性、弱さ、参照可能性（NR1 および NR2）、読みやすさ（ARIインデックス）、複雑さ（語数および接続詞頻度）のメトリクスを実装しています。
• 各悪い臭いはキーワードの辞書を用いてスコアリングされ、WPFデスクトップGUIを介して可視化されます。
• .NET を使用した C# で開発されており、前処理、メトリクス設定、結果表示のモジュラーなレイヤーを備えています。
• MIT ライセンスでリリースされており、GitHub で公開されており、コミュニティの貢献と産業分野への統合を促進しています。

実験結果

リサーチクエスチョン

• RQ1 自然言語要件およびテストスペックにおける悪い臭いを、自動的かつルールベースの方法で体系的に検出するにはどうすればよいか？
• RQ2 産業用埋め込みシステムにおける低品質な仕様を特定するために、どの言語的指標が最も効果的か？
• RQ3 語彙ベースのメトリクスは、要件アーティファクトの保守性および理解可能性をどの程度向上させられるか？
• RQ4 NALABS は、実世界の産業分野の要件文書における品質欠陥の検出にどの程度効果的か？
• RQ5 多様な産業分野の文章スタイルや文書フォーマットに、悪い臭い検出を適用するにあたり、どのような主な課題があるか？

主な発見

• NALABS はスウェーデンの大手製造業界企業の実際の産業分野の要件文書において、複数の仕様品質上の問題を効果的に検出しました。
• 事前に定義されたキーワードリストを用いて、曖昧さ、選択的表現、主観性、参照可能性といった12種類の異なる悪い臭いのカテゴリを同定しました。
• テキストの複雑さを評価するために Automated Readability Index (ARI) が使用され、スコアが高いほど読みにくく、認知的負荷も高くなることを示しました。
• NR1（文書への参照）および NR2（図表への参照）の両メトリクスの導入により、仕様における依存関係関連の問題の検出が向上しました。
• 実際の現場での実用性が裏付けられ、実プロジェクトでの初期検証が行われ、継続的な開発段階でも活用されています。
• NALABS はオープンソースであり、GitHub で自由に利用可能で、コミュニティの貢献や産業分野への統合を促進しています。