[論文レビュー] Toward Defining a Domain Complexity Measure Across Domains

Katarina Z. Doctor, Christine Task+4 more|arXiv (Cornell University)|Mar 7, 2023

Software Engineering Research被引用数 4

ひとこと要約

本論文は、AIシステムにおけるドメインの複雑さを測定するドメインに依存しないフレームワークを提案する。このフレームワークは、エージェントに依存しない内在的（intrinsic）複雑さと、エージェントおよびタスクに依存する外在的（extrinsic）複雑さを区別する。閉じた世界のシミュレーションから開放的（open-world）環境への移行時にAIの難易度を予測可能な汎用的測度を導入し、現実世界での導入失敗の洞察と、ドメインをまたいで複雑さを定量化する理論的基盤を提供する。

ABSTRACT

Artificial Intelligence (AI) systems planned for deployment in real-world applications frequently are researched and developed in closed simulation environments where all variables are controlled and known to the simulator or labeled benchmark datasets are used. Transition from these simulators, testbeds, and benchmark datasets to more open-world domains poses significant challenges to AI systems, including significant increases in the complexity of the domain and the inclusion of real-world novelties; the open-world environment contains numerous out-of-distribution elements that are not part in the AI systems' training set. Here, we propose a path to a general, domain-independent measure of domain complexity level. We distinguish two aspects of domain complexity: intrinsic and extrinsic. The intrinsic domain complexity is the complexity that exists by itself without any action or interaction from an AI agent performing a task on that domain. This is an agent-independent aspect of the domain complexity. The extrinsic domain complexity is agent- and task-dependent. Intrinsic and extrinsic elements combined capture the overall complexity of the domain. We frame the components that define and impact domain complexity levels in a domain-independent light. Domain-independent measures of complexity could enable quantitative predictions of the difficulty posed to AI systems when transitioning from one testbed or environment to another, when facing out-of-distribution data in open-world tasks, and when navigating the rapidly expanding solution and search spaces encountered in open-world domains.

研究の動機と目的

• 多様なAIアプリケーション分野に適用可能な、一般化されたドメインに依存しないドメイン複雑さの測定法を開発すること。
• エージェントに依存しない内在的複雑さ（intrinsic complexity）と、エージェントおよびタスクに依存する外在的複雑さ（extrinsic complexity）を区別すること。
• シミュレーションから開放的環境への移行時にAIシステムの難易度を定量的に予測できること。
• 分布外の要素を含む現実世界のドメインにおける複雑さのレベルを特徴づけることで、強固なAIの導入を支援すること。
• 特定のドメインやモデルに依存しない、ドメイン一般の複雑さに関する研究アジェンダを構築すること。

提案手法

• ドメイン複雑さを2つの要素として定義：内在的（ドメイン固有のもの）と外在的（エージェントおよびタスクに依存するもの）。
• SAIL-ONの開放的ノイズ階層を構造的基盤として用い、ドメインに依存しない形で複雑さの要素を定式化する。
• ノイズ階層（オブジェクト、エージェント、行動、関係、相互作用、ルール、目的、イベント）を基盤として、複雑さの次元を特定する。
• 実世界での導入失敗事例（例：AUV、ロボティクス）を分析し、知覚のずれや環境ノイズによる複雑さの増加を同定する。
• ネットワーク、力学系、無限状態空間などのシステムにおいて、複雑さ測定法を理論的および実証的に検証するための研究的道筋を提案する。
• ボクシングボックス技術と状態空間モデリングを統合し、実際の導入において複雑さを緩和する実用的アプローチを示す。

Figure 1: Venn diagram for open-world novelty

実験結果

リサーチクエスチョン

• RQ1 多様なドメインにわたるAIシステムの難易度を予測できるドメインに依存しない複雑さの測定法を導出できるか？
• RQ2 ドメイン複雑さとタスク難易度の間に強い理論的関連性があるのか、それとも確率的関係にとどまるのか？
• RQ3 ネットワーク、力学系、微分方程式のような複雑系に、複雑さの測定法を適用できるか。もし可能であれば、どのような次元に沿って適用できるか？
• RQ4 無限状態空間および無限行動空間における複雑さの区別に適した数学的フレームワークは何か？
• RQ5 ドメイン固有の仮定を一切用いずに、複数のドメインにわたって複雑さの測定法を実証的に検証できるか？

主な発見

• 現実世界のAI導入は、特に知覚や状態空間表現における複雑さの予期せぬ増加により、開放的環境で失敗する。
• シミュレーションから現実世界への移行は、エージェントの内部モデルと外部環境とのずれにより、病理的行動を引き起こすことがある。
• AUVの導入において、ボクシングボックス技術が状態空間を制限することで複雑さを効果的に緩和し、開放海域での安定運用を可能にした。
• 内在的および外在的複雑さのフレームワークは、多様なドメインにわたるドメイン複雑さの定量化の概念的基盤を提供する。
• 提案されたフレームワークにより、知覚の非一様性、環境ノイズ、分布外の要素といった、複雑さの主要次元を特定できる。
• 研究アジェンダは、無限系や非線形ダイナミクスへの応用を含む、複雑さ理論に関する重要な未解決問題を特定している。

Figure 2: Minimum number of layers needed by DQN agent to achieve (left) 50% performance (pole balanced for 100 seconds) and (right) 100% performance (pole balanced for 200 seconds) on tasks in which the agent is trained on one value of gravity but is tested on another value.