[論文レビュー] A Promise Theoretic Account of the Boeing 737 Max MCAS Algorithm Affair

J.A. Bergstra, Mark Burgess|arXiv (Cornell University)|Dec 24, 2019

Air Traffic Management and Optimization参考文献 18被引用数 9

ひとこと要約

本稿は、ボーゲン737マックスのMCASソフトウェア事故を分析するにあたり、プロミス理論（Promise Theory）を適用し、ボーイング、FAA、パイロット、ソフトウェアといったエージェント間の「約束」の破綻を、システム障害の原因として位置づけている。ボーイングが『MCASはアンチスタールシステムではない』と偽りの約束をしたことで信頼が損なわれ、墜落事故に繋がった。本稿は、安全を最優先とするシステムにおいて、約束に基づく透明性の重要性を提唱している。

ABSTRACT

Many public controversies involve the assessment of statements about which we have imperfect information. Without a structured approach, it is quite difficult to develop an approach to reasoning which is not based on ad hoc choices. Forms of logic have been used in the past to try to bring such clarity, but these fail for a variety of reasons. We demonstrate a simple approach to bringing a standardized approach to semantics, in certain discourse, using Promise Theory. As a case, we use Promise Theory (PT) to collect and structure publicly available information about the case of the MCAS software component for the Boeing 737 Max flight control system.

研究の動機と目的

• 安全を最優先とするソフトウェアにおける複雑なシステム障害についての、非技術的で構造的な分析ツールの不足に応えること。特に、公共の議論における複雑なシステム障害を扱うためのものである。
• 特にボーイングが行った誤解を招く約束や、誤った約束が、2機の737マックスのMCAS関連墜落事故にどのように寄与したかを調査すること。
• プロミス理論が、人間と機械のシステムにおける信頼、忠実性、責任の程度を明確に定義できる、意味的に明確でスケーラブルなフレームワークを提供できることを示すこと。
• MCASがアンチスタールシステムであるという一般の認識を疑問視し、ボーイングが明確にその役割を否定した（約束3.3）という事実が、事故分析の中心的役割を果たしたことを明らかにすること。
• 認証プロセスや事故後の分析に、約束に基づく推論を統合することで、ソフトウェア集積システム、とりわけフライト・バイ・ワイヤー機における透明性とシステム全体の安全性を高めることを提唱すること。

提案手法

• ボーイング、FAA、パイロット、ソフトウェアといったエージェントのネットワークとして737マックスシステムをモデル化し、明示的な約束を通じて相互作用を分析する。
• 約束を「提示された行動」（+）または「受容された行動」（-）に分類し、その精度や忠実性に差を設ける。
• ボーイングが行った約束（例：MCASはアンチスタールシステムではない）の忠実性を分析し、約束が守られたか、破られたかを評価する。
• 透明性をコアメカニズムとして用いる：約束が守られなければそれが失敗として露呈され、約束が曖昧または偽りであると、一般の信頼は損なわれる。
• プロミス理論の意味論を用いて、公共の議論を解体し、形式論理や過度に技術的な用語に依存しない分析を行う。
• 人間と機械のエージェント間の責任の連鎖をマッピングし、システムの安全性がすべてのレベルで約束の履行に依存していることを強調する。

実験結果

リサーチクエスチョン

• RQ1 プロミス理論は、737マックスの墜落事故のような、高リスクかつ複雑なシステム障害に関する公共の議論を、どのように構造化し明確化できるか？
• RQ2 ボーイングが明確に約束した『MCASはアンチスタールシステムではない』という約束が、ソフトウェアの機能開発とその認識にどのような役割を果たしたか？
• RQ3 なぜ従来の形式論理や技術的チェックリストでは、人間と機械のシステムにおける信頼や責任のニュアンスを捉えることができないのか？
• RQ4 とりわけ曖昧または誤解を招く約束の忠実性が、システムの安全性と一般の信頼にどのように影響を与えるのか？
• RQ5 プロミス理論的フレームワークは、フライト・バイ・ワイヤー機のようなソフトウェア集積システムの認証プロセスや事故後分析を改善できるか？

主な発見

• ボーイングの約束（約束3.3）である『MCASはアンチスタールシステムではない』という主張は、事実上偽りであり、事故分析の中心的役割を果たした。実際のMCASの挙動はアンチスタールシステムそのものと一致していた。
• 一般の人々や技術的コミュニティは、MCASをアンチスタールシステムと混同しがちであり、これは誤った一時的関連性を生み出し、実際の問題である『約束の破綻』を隠蔽していた。
• プロミス理論は、システムの安全性が技術的正確性に加え、システムエージェントが行う約束の整合性と明確性にも依存することを明らかにした。
• FAAの認証プロセスはチェックリストに基づいていたが、システムの各レベルにおける約束の分析や忠実性の評価が行われていなかったため、構造的リスクを検出できなかった。
• 特に力を持つエージェント（ボーイングなど）が行う誤解を招くまたは曖昧な約束は、信頼を損ない、技術的仕様が正しくても、悲劇的結果をもたらす可能性がある。
• プロミス理論は、形式論理に代わる実用的で意味論的根拠を持つ代替手法を提供し、公共の議論における複雑で不確実かつ高リスクのシステム障害の分析に有効である。