[論文レビュー] Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Johann Maximilian Christensen, Elena Hoemann+2 more|arXiv (Cornell University)|Jan 29, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

論文は、データからデータ駆動型の運用設計ドメイン（ODD）を導出する決定論的かつカーネルベースの手法を提案し、モンテカルロシミュレーションと実世界の航空利用ケースで検証する。

ABSTRACT

Artificial Intelligence (AI) has been on the rise in many domains, including numerous safety-critical applications. However, for complex systems found in the real world, or when data already exist, defining the underlying environmental conditions is extremely challenging. This often results in an incomplete description of the environment in which the AI-based system must operate. Nevertheless, this description, called the Operational Design Domain (ODD), is required in many domains for the certification of AI-based systems. Traditionally, the ODD is created in the early stages of the development process, drawing on sophisticated expert knowledge and related standards. This paper presents a novel Safety-by-Design method to a posteriori define the ODD from previously collected data using a multi-dimensional kernel-based representation. This approach is validated through both Monte Carlo methods and a real-world aviation use case for a future safety-critical collision-avoidance system. Moreover, by defining under what conditions two ODDs are equal, the paper shows that the data-driven ODD can equal the original, underlying hidden ODD of the data. Utilizing the novel, Safe-by-Design kernel-based ODD enables future certification of data-driven, safety-critical AI-based systems.

研究の動機と目的

• AI搭載の安全クリティカル分野におけるSafety-by-Designアプローチの必要性を動機づける。
• ODDをマニュアルな専門家入力ではなく、データだけから導出する厳密な数理フレームワークを定義する。
• カーネルベースの表現を導入し、決定論的で解釈可能なODDを得る。
• OODサンプルの処理を確保し、認証への道筋を提供する。

提案手法

• ODDを(X, R)として形式化し、Xをパラメータ空間、Rを関係のオントロジーとする。
• データ駆動ODDを、局所的アンカーポイント・カーネルから構築されるグローバルな親和関数α(x)として表現する。
• 局所的な親和を各アンカーポイントの周囲でRBFカーネルを用いて表現し、局所親和の有界な乗積重ね合わせ（式7）によりα(x)を構築する。
• メンバーシップをしきい値ζで定義し、OIN/OOD整合性をOODしきい値ξで強制する（式8–9）。
• カーネル幅を対角的にパラメータ化し、アンカーポイント密度に適応させてカバレッジと数値安定性のバランスをとる（式12–13）。
• データからODDを導く自動化アルゴリズム1の概要を示し、ID/OOD分離、カーネル設定、OODチェックを含む。

実験結果

リサーチクエスチョン

• RQ1 データ駆動でカーネルベースの表現は、観測データから基になるODDを忠実に回復できるか。
• RQ2 ニューラルネットワークの再学習に頼らず、アンカーポイントから連続かつ有界なODDを決定論的に構築できるか。
• RQ3 S安全性保証を保ちつつ認証を支援するよう、OODサンプルをどのように扱うべきか。
• RQ4 データ駆動ODDは凸包近似および元のODDと比較して検証試験でどうなるか。

主な発見

• カーネルベースODD表現α(x)は連続で、[0,1]の範囲に有界、かつアンカーポイントから導出される決定論的なものである。
• OODサンプルはアンカーポイントを変更せずにカーネルパラメータを調整してα(x) ≤ ξを満たすように制約可能である。
• モンテカルロ法による検証は、データ駆動ODDとアンカーポイントの凸包の間の高い整合性を示し、閾値調整が信頼できることを示唆する。
• 実世界の航空利用ケース（VCAS風シナリオ）は、データ駆動ODDと凸包の精度/再現率曲線で強い類似性を示し（再現率のR²は約0.99程度）、閾値最適化の有効性を示す。
• AutoSAFEは、多様なデータ形式と注釈からカーネルベースODDを導出・検証するオープンソースツールを提供する。