[論文レビュー] Systematic Evaluation and Usability Analysis of Formal Tools for Railway System Design

Alessio Ferrari, Franco Mazzanti+2 more|arXiv (Cornell University)|Jan 27, 2021

Model-Driven Software Engineering Techniques参考文献 105被引用数 4

ひとこと要約

本論文では、鉄道システム設計を対象とした13種の形式的手法ツールの体系的評価と、鉄道分野の実務家を対象とした7つのツールの使いやすさに関する研究を実施している。その結果、使いやすさや成熟度は主な障壁ではないものの、トレーサビリティやツールチェーン相互運用性といったプロセス統合のサポートが不十分であることが、採用の主な障壁であることが判明した。本研究は、産業界およびツール開発者に実証的で根拠に基づいたガイドラインを提供する。

ABSTRACT

Formal methods and supporting tools have a long record of success in the development of safety-critical systems. However, no single tool has emerged as the dominant solution for system design. Each tool differs from the others in terms of the modeling language used, its verification capabilities and other complementary features, and each development context has peculiar needs that require different tools. This is particularly problematic for the railway industry, in which formal methods are highly recommended by the norms, but no actual guidance is provided for the selection of tools. To guide companies in the selection of the most appropriate formal tools to adopt in their contexts, a clear assessment of the features of the currently available tools is required. To address this goal, this paper considers a set of 13 formal tools that have been used for railway system design, and it presents a systematic evaluation of such tools and a preliminary usability analysis of a subset of 7 tools, involving railway practitioners. The results are discussed considering the most desired aspects by industry and earlier related studies. While the focus is on the railway domain, the overall methodology can be applied to similar contexts. Our study thus contributes with a systematic evaluation of formal tools and it shows that despite the poor graphical interfaces, usability and maturity of the tools are not major problems, as claimed by contributions from the literature. Instead, support for process integration is the most relevant obstacle for the adoption of most of the tools.

研究の動機と目的

• 鉄道会社が安全に重点を置いたシステム開発に用いる形式的手法ツールの選定に関する指針の欠如に対処すること。
• 鉄道業界の関心事項に即した特徴に基づき、鉄道システム設計に使用される13種の形式的手法ツールを体系的に評価すること。
• 鉄道分野の実務家を対象とした7つのツールについて、実際の開発状況を想定した初期の使いやすさ分析を実施し、実世界での使いやすさを評価すること。
• 採用の主な障壁を特定し、実務家、研究者、ツール開発者に実行可能なインサイトを提供すること。
• 評価シートと使いやすさのデータを公開し、再現性や拡張性、意思決定の支援を可能にすること。

提案手法

• 形式的手法と鉄道分野の専門家によるエキスパートブレインストーミングを通じて、27の評価特徴からなる包括的なセットを定義する目的で、ツール評価のためのDESMET手法を適応した。
• 文書、ライブ試用、繰り返しの三角測定を用いた3名の評価者による13のツールの評価を実施し、特徴評価の一貫性と信頼性を確保した。
• 構造化されたライブデモと標準化されたアンケートを通じて、鉄道分野の実務家を対象とした使いやすさ研究を実施し、7つのツールの主観的使いやすさを評価した。
• 複雑な形式的手法ツールを学習するにあたり、専門家の知見と学習に要する時間の両者をバランスさせるためのトレードオフアプローチを採用し、実用的関連性を確保した。
• 透明性、再現性、および将来的な拡張性を実現するため、詳細な評価シート、特徴定義、使いやすさのデータをオープンに共有した。
• 評価フレームワークをCENELEC EN 50128などの業界基準および鉄道分野の実務家が抽出したニーズに整合させた。

実験結果

リサーチクエスチョン

• RQ1 鉄道システム設計に利用可能な現在の形式的手法ツールの主な特徴と機能は何か？
• RQ2 鉄道分野の実務家視点では、これらのツールは実際の開発状況においてどれほど使いやすいとされるか？
• RQ3 鉄道業界における形式的手法ツールの採用の主な障壁は、実務家や評価者からみて何であるか？
• RQ4 使いやすさや成熟度が、実証的証拠に基づいて採用の障壁として機能する程度はどの程度か？
• RQ5 評価フレームワークとデータは、産業現場におけるツール選定や改善にどのように活用できるか？

主な発見

• 評価対象の13の形式的手法ツールの大多数は成熟しており、信頼性の高い検証機能と産業利用の準備が整っている。
• グラフィカルユーザーインターフェースが限定的であるものの、実務家からのフィードバックによる評価では、平均して「普通」から「良い」と評価されており、使いやすさは採用の主な障壁ではないことが示された。
• 採用の最大の障壁は、トレーサビリティ、バージョニング、既存の開発ワークフローとの統合といった、プロセス統合のサポートが不十分であることである。
• 形式的手法の数学的複雑さが、学習のしやすさを本質的に制限するという明確な証拠は得られず、適切な訓練を受ければ学習曲線は管理可能であると実務家から報告された。
• ツールの資格取得や認証は、主な障壁ではなかった。鉄道システムはしばしば形式的手法ツールを用いずに認証を取得しており、形式的手法のコスト対効果分析は、テストの削減という明確な利益を示している。
• 詳細なツールシートと使いやすさの結果を含む共有された評価データは、産業界および研究コミュニティがツール選定や開発を支援するための透明性があり、最新のリソースとなっている。