[논문 리뷰] A Promise Theoretic Account of the Boeing 737 Max MCAS Algorithm Affair

J.A. Bergstra, Mark Burgess|arXiv (Cornell University)|2019. 12. 24.

Air Traffic Management and Optimization참고 문헌 18인용 수 9

한 줄 요약

이 논문은 보잉 737 맥스 MCAS 소프트웨어 사고를 분석하기 위해 프라미스 이론을 적용한다. 시스템 장애는 보잉, FAA, 조종사, 소프트웨어 등 다양한 에이전트 간의 파기된 약속으로 프레임워크화된다. 보잉이 MCAS가 정상 이륙 방지 시스템이 아니라고 한 잘못된 약속이 신뢰를 약화시키고 사고를 초래했다는 점을 드러내며, 안전 중심 시스템에 프라미스 기반의 투명성을 도입할 것을 주장한다.

ABSTRACT

Many public controversies involve the assessment of statements about which we have imperfect information. Without a structured approach, it is quite difficult to develop an approach to reasoning which is not based on ad hoc choices. Forms of logic have been used in the past to try to bring such clarity, but these fail for a variety of reasons. We demonstrate a simple approach to bringing a standardized approach to semantics, in certain discourse, using Promise Theory. As a case, we use Promise Theory (PT) to collect and structure publicly available information about the case of the MCAS software component for the Boeing 737 Max flight control system.

연구 동기 및 목표

• 복잡한 시스템 장애에 대한 대중 논의를 분석하기 위한 체계적이고 비기술적인 도구의 부족을 해결하기 위해.
• 특히 안전 중심 소프트웨어에서 발생한 사고에 대해, 핵심 에이전트—특히 보잉—이 제기한 잘못되거나 오해의 소지가 있는 약속이 MCAS 관련 두 대의 737 맥스 추락 사고에 기여한 방식을 조사하기 위해.
• 프라미스 이론이 인간-기계 시스템에서 신뢰, 충실도, 책임감을 평가하는 데 있어 의미적으로 명확하고 확장 가능한 프레임워크를 제공할 수 있음을 보여주기 위해.
• MCAS가 정상 이륙 방지 시스템으로 간주되는 데 대한 대중의 오해를 도전하며, 보잉이 이 역할을 부인한 명시적 약속(약속 3.3)이 사고 분석의 핵심이었음을 보여주기 위해.
• 소프트웨어 기반 시스템의 인증 및 사후 분석 과정에 프라미스 기반 추론을 통합하여 투명성과 체계적 안전성을 향상시키기 위해.

제안 방법

• 보잉, FAA, 조종사, 소프트웨어 등 다양한 에이전트 간의 상호작용을 명시적 약속을 통해 묘사한 737 맥스 시스템을 네트워크로 모델링하기 위해.
• 약속을 '제안된 행동' (+) 또는 '수용된 행동' (-)로 분류하며, 정밀도와 충실도 수준을 다양하게 고려하기 위해.
• 보잉이 제기한 약속(예: MCAS는 정상 이륙 방지 시스템이 아니다)의 충실도를 분석하고, 이들이 지켜졌는지 또는 어겼는지 평가하기 위해.
• 투명성의 핵심 메커니즘으로서의 활용: 이행되지 않은 약속은 실패로 드러나며, 약속이 모호하거나 거짓일 경우 대중 신뢰는 약화된다.
• 형식적 논리나 과도한 전문 용어에 의존하지 않고, 프라미스 이론의 의미론을 활용해 대중 논의를 분해하기 위해.
• 인간과 기계적 에이전트 간의 책임 체인을 매핑하며, 시스템 안전성이 모든 수준에서 약속을 지키는 데 의존한다는 점을 강조하기 위해.

실험 결과

연구 질문

• RQ1 프라미스 이론은 보잉 737 맥스 추락 사고와 같은 복잡하고 고위험 시스템 장애에 대한 대중 논의를 어떻게 체계화하고 명확화할 수 있는가?
• RQ2 보잉이 명시적으로 약속한 바—MCAS는 정상 이륙 방지 시스템이 아니라는 것—이 소프트웨어의 기능 개발과 인식에 어떤 역할을 했는가?
• RQ3 기존의 형식적 논리와 기술적 점검표는 왜 인간-기계 시스템에서의 신뢰와 책임감의 미묘한 차이를 포착하지 못하는가?
• RQ4 특히 모호하거나 오해의 소지가 있는 약속의 충실도가 시스템 안전성과 대중 신뢰에 어떤 영향을 미치는가?
• RQ5 프라미스 이론 기반의 프레임워크는 비행 제어 시스템과 같은 소프트웨어 기반 시스템의 인증 절차와 사고 후 분석을 개선하는 데 기여할 수 있는가?

주요 결과

• 보잉이 제기한 약속(약속 3.3)인 MCAS는 정상 이륙 방지 시스템이 아니라는 주장은 사실이 아니었으며, 실제로 MCAS의 행동은 정상 이륙 방지 시스템과 유사했기 때문에 사고 분석의 핵심이었다.
• 대중과 전문가 사회는 종종 MCAS를 정상 이륙 방지 시스템과 혼동했고, 이로 인해 실제 문제인 파기된 약속을 가리키는 오해의 '일시적 연관성'이 만들어졌다.
• 프라미스 이론은 시스템 안전성이 기술적 정확성 외에도 시스템 에이전트가 제기한 약속의 정당성과 명확성에 달려 있음을 드러낸다.
• FAA의 인증 절차는 점검표에 기반했지만, 시스템 수준 간의 약속 분석이나 충실도 평가를 하지 않아 구조적 위험를 탐지하지 못했다.
• 특히 강력한 에이전트인 보잉이 제기한 오해의 소지가 있는 또는 모호한 약속은 신뢰를 약화시키고, 기술 사양이 정확하더라도 치명적인 결과를 초래할 수 있다.
• 프라미스 이론은 복잡하고 불확실하며 고위험 시스템 장애에 대한 대중 논의에서 형식적 논리의 대안으로 실용적이고 의미론적으로 기반한 접근을 제공한다.