[논문 리뷰] Systematic Evaluation and Usability Analysis of Formal Tools for Railway System Design

Alessio Ferrari, Franco Mazzanti외 2명|arXiv (Cornell University)|2021. 01. 27.

Model-Driven Software Engineering Techniques참고 문헌 105인용 수 4

한 줄 요약

이 논문은 철도 시스템 설계를 위한 13종의 공식 도구에 대한 체계적 평가와 철도 전문가를 대상으로 한 7종의 도구에 대한 사용성 연구를 제시한다. 연구 결과, 사용성과 성숙도는 주요 장애물이 아니지만, 추적 가능성 및 도구체인 상호운용성과 같은 프로세스 통합 지원 부족이 도입의 주요 장벽임을 확인하였으며, 산업계와 도구 개발자에게 실용적이고 증거 기반의 지침을 제공한다.

ABSTRACT

Formal methods and supporting tools have a long record of success in the development of safety-critical systems. However, no single tool has emerged as the dominant solution for system design. Each tool differs from the others in terms of the modeling language used, its verification capabilities and other complementary features, and each development context has peculiar needs that require different tools. This is particularly problematic for the railway industry, in which formal methods are highly recommended by the norms, but no actual guidance is provided for the selection of tools. To guide companies in the selection of the most appropriate formal tools to adopt in their contexts, a clear assessment of the features of the currently available tools is required. To address this goal, this paper considers a set of 13 formal tools that have been used for railway system design, and it presents a systematic evaluation of such tools and a preliminary usability analysis of a subset of 7 tools, involving railway practitioners. The results are discussed considering the most desired aspects by industry and earlier related studies. While the focus is on the railway domain, the overall methodology can be applied to similar contexts. Our study thus contributes with a systematic evaluation of formal tools and it shows that despite the poor graphical interfaces, usability and maturity of the tools are not major problems, as claimed by contributions from the literature. Instead, support for process integration is the most relevant obstacle for the adoption of most of the tools.

연구 동기 및 목표

• 안전 중심의 시스템 개발을 위한 철도 회사가 공식 도구를 선택하는 데 필요한 지침 부족 문제를 해결하기 위해.
• 산업적으로 관련된 기능을 기반으로 철도 시스템 설계에 사용되는 13종의 공식 도구에 대한 체계적 평가를 수행하기 위해.
• 철도 전문가를 대상으로 한 7종의 도구에 대한 사전 사용성 분석을 통해 실제 개발 환경에서의 사용성 평가를 위해.
• 도입 장벽을 특정하고 실무자, 연구자, 도구 개발자에게 실천 가능한 통찰을 제공하기 위해.
• 평가 시트와 사용성 데이터를 공개하여 복제, 확장 및 정보 기반 의사결정 지원을 위해.

제안 방법

• 공식 방법 및 철도 분야 전문가의 전문성과 함께 전문가 브레인스토밍을 통해 27개의 평가 기능을 포함하는 포괄적인 평가 기능 세트를 정의하기 위해 DESMET 방법론을 적응 적용하였다.
• 문서 검토, 라이브 테스트, 반복적 삼중 확인을 통해 일致성과 신뢰성을 확보하는 3명의 평가자 기반 평가를 통해 13종의 도구에 대한 평가를 수행하였다.
• 철도 전문가를 대상으로 한 구조화된 라이브 데모와 표준화된 설문지를 통해 7종의 도구에 대한 인지된 사용성 평가를 수행한 사용성 연구를 실시하였다.
• 복잡한 공식 도구를 학습하는 데 소요되는 시간을 고려하면서도 전문가의 통찰을 균형 있게 반영하기 위해 트레이드오프 접근법을 사용하였다.
• 투명성, 복제 가능성, 향후 확장성을 보장하기 위해 상세한 평가 시트, 기능 정의 및 사용성 데이터를 공개하였다.
• 평가 프레임워크를 CENELEC EN 50128 등의 산업 표준과 함께, 이전 철도 전문가 설문 조사에서 확인된 요구사항과 일치시켰다.

실험 결과

연구 질문

• RQ1 현재 이용 가능한 철도 시스템 설계를 위한 공식 도구의 핵심 기능과 기능은 무엇인가?
• RQ2 철도 전문가의 시각에서 실제 개발 환경에서 이 도구들의 사용성은 어떠한가?
• RQ3 철도 산업에서 공식 도구 도입의 주요 장애물은 전문가와 평가자들의 견해에 따르면 무엇인가?
• RQ4 사용성과 성숙도가 도입 장벽으로 작용하는 정도는 경험적 증거에 기반해 어느 정도인가?
• RQ5 평가 프레임워크와 데이터는 산업 현장에서 도구 선택과 개선을 어떻게 안내하는 데 사용될 수 있는가?

주요 결과

• 평가한 13종의 대부분 공식 도구는 성숙도가 높고 잘 정립되어 있으며, 강력한 검증 기능과 산업적 준비 상태를 보였다.
• 제한된 그래픽 사용자 인터페이스에도 불구하고, 전문가 피드백을 통한 평가에서 도구의 사용성은 평균적으로 '보통'에서 '좋음' 수준으로 평가되어, 사용성이 도입의 주요 장애물은 아님을 시사했다.
• 도입의 가장 큰 장애물은 프로세스 통합 지원 부족으로, 특히 추적 가능성, 버전 관리, 기존 개발 워크플로우와의 통합 기능 부족이 주요 원인이다.
• 공식 도구의 수학적 복잡도가 학습 용이성에 본질적으로 영향을 주지 않는다는 강력한 증거는 없었으며, 적절한 교육을 받은 경우 학습 곡선이 관리 가능하다고 전문가들이 보고하였다.
• 도구 자격 평가 및 인증은 핵심 장애물이 아니었으며, 철도 시스템은 종종 공식 도구 없이도 인증되며, 공식 방법의 비용-편익 분석은 테스트 감소에 실질적인 이점을 보였다.
• 평가 데이터, 상세한 도구 시트, 사용성 결과를 공유함으로써 산업계와 연구 공동체가 도구 선택 및 개발을 위한 투명하고 최신의 자료를 확보할 수 있게 되었다.