[論文レビュー] A Unifying Framework for Formal Theories of Novelty:Framework, Examples and Discussion

Terrance E. Boult, Przemyslaw A. Grabowicz+12 more|arXiv (Cornell University)|Dec 8, 2020

Anomaly Detection Techniques and Applications参考文献 8被引用数 6

ひとこと要約

本論文は、世界、観測、エージェント空間における類似度および後悔関数を用いて、多様な分野におけるAIエージェントにおける新奇性を定義する統一的で形式的な枠組みを提案する。これにより、知覚可能・知覚不能・管理可能・迷惑的新奇性といった新奇性の種類を正確かつ一貫して分類可能となり、長年の新奇性検出の曖昧さを解消し、より強固で一般化可能なAIシステムの実現を可能にする。

ABSTRACT

Managing inputs that are novel, unknown, or out-of-distribution is critical as an agent moves from the lab to the open world. Novelty-related problems include being tolerant to novel perturbations of the normal input, detecting when the input includes novel items, and adapting to novel inputs. While significant research has been undertaken in these areas, a noticeable gap exists in the lack of a formalized definition of novelty that transcends problem domains. As a team of researchers spanning multiple research groups and different domains, we have seen, first hand, the difficulties that arise from ill-specified novelty problems, as well as inconsistent definitions and terminology. Therefore, we present the first unified framework for formal theories of novelty and use the framework to formally define a family of novelty types. Our framework can be applied across a wide range of domains, from symbolic AI to reinforcement learning, and beyond to open world image recognition. Thus, it can be used to help kick-start new research efforts and accelerate ongoing work on these important novelty-related problems. This extended version of our AAAI 2021 paper included more details and examples in multiple domains.

研究の動機と目的

• AIおよび機械学習分野における新奇性の統一的で形式的な定義の欠如に取り組む。
• 異常検出、オープンセット認識、分布外検出における「新奇性」の用語の不一致および任意的使用を解消する。
• 新奇入力を検出・管理・学習できるエージェントの開発を支援する形式的で拡張可能な枠組みを提供する。
• 共通の理論的言語を用いることで、新奇性検出モデルのドメイン間比較と評価を可能にする。
• 特に知覚と世界の不一致に起因する新奇性処理の失敗を形式的に特定することで、より強固なAIシステムの設計を促進する。

提案手法

• 世界状態空間 $\mathcal{W}$、観測空間 $\mathcal{O}$、エージェント状態空間 $\mathcal{S}$ の3つのコアな空間を定義し、それぞれに次元性を伴う。
• タスク依存の類似度関数 $\mathcal{D}_{w,\mathcal{T};E_t}$ および $\mathcal{D}_{o,\mathcal{T};E_t}$ を導入し、世界空間および観測空間における既知状態からの逸脱度を測定する。
• 性能低下度を数量化するための後悔関数 $\mathcal{R}_{w,\mathcal{T}}$、$\mathcal{R}_{o,\mathcal{T}}$、$\mathcal{R}_{a,\mathcal{T}}$ を定義する。
• 知覚的演算子 $\mathcal{P}$ を用いて世界状態への間接的アクセスをモデル化し、観測可能と観測不能な新奇性の区別を可能にする。
• 世界、観測、エージェント空間における類似度および後悔の有無に基づき、新奇性の種類を分類し、知覚不能・管理可能・迷惑的新奇性などのサブタイプを含む。
• CartPole環境への適用を通じて、新奇性評価における隠れた問題を明らかにし、より良い評価設計を導くことを示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様なAIおよび機械学習問題領域を統一的に定義できる新奇性の形式的定義が可能か？
• RQ2 世界レベル、観測レベル、エージェントレベルの新奇性の主な違いは何か。それらは性能後悔とどのように関係するか？
• RQ3 知覚的と世界レベルの類似度または後悔の不一致が、新奇性検出および管理における課題をどのように引き起こすか？
• RQ4 形式的枠組みは、特にオープンワールドおよび強化学習設定において、新奇性検出システムの設計と評価をどのように改善できるか？
• RQ5 管理可能または迷惑的といった種類の新奇性は、評価指標において特別な配慮を要するが、それらはどのように形式的に特定できるか？

主な発見

• 本フレームワークは、世界、観測、エージェント空間における類似度および後悔を統合することで、知覚可能・知覚不能・管理可能・迷惑的新奇性を含む広範な新奇性の種類を形式的に定式化できた。
• 観測に影響を与えないが世界状態を変化させる「知覚不能な世界新奇性」が、特に性能後悔が高いにもかかわらず知覚的変化がない場合に深刻な課題であると特定された。
• 世界および観測レベルの類似度または後悔が一致しない「迷惑的新奇性」は、評価を複雑化させ、ベンチマーク作成において注意深い取り扱いを要することが示された。
• 本フレームワークは、世界レベルと知覚レベルの新奇性評価が乖離している場合、新奇性検出が著しく困難になることを明らかにした。この予測はCartPoleの事例研究で裏付けられた。
• CartPoleへの適用を通じて、未観測の世界要因が性能に与える影響といった、予期しない新奇性モデリングの問題が明らかになり、新たな実験的知見が得られた。
• 形式化により、ドメイン間での新奇性モデルの一貫した比較と開発が可能となり、オープンセット認識および分布外検出に関する研究における曖昧性の低減と再現性の向上が実現された。