[논문 리뷰] A Unifying Framework for Formal Theories of Novelty:Framework, Examples and Discussion

Terrance E. Boult, Przemyslaw A. Grabowicz외 12명|arXiv (Cornell University)|2020. 12. 08.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 6

한 줄 요약

이 논문은 세계, 관측, 에이전트 공간 간의 이질성과 회한 함수를 사용하여 다양한 도메인에서 인공지능 에이전트의 신규성(novelty)을 통합적인 형식적 프레임워크로 정의한다. 이를 통해 감지 가능한, 감지할 수 없는, 관리 가능한, 번거로운 등 다양한 유형의 신규성을 정밀하고 일관되게 분류할 수 있으며, 이는 오랫동안 애매하게 여겨졌던 신규성 탐지 문제를 해결하고 더 견고하고 일반화 가능한 인공지능 시스템을 가능하게 한다.

ABSTRACT

Managing inputs that are novel, unknown, or out-of-distribution is critical as an agent moves from the lab to the open world. Novelty-related problems include being tolerant to novel perturbations of the normal input, detecting when the input includes novel items, and adapting to novel inputs. While significant research has been undertaken in these areas, a noticeable gap exists in the lack of a formalized definition of novelty that transcends problem domains. As a team of researchers spanning multiple research groups and different domains, we have seen, first hand, the difficulties that arise from ill-specified novelty problems, as well as inconsistent definitions and terminology. Therefore, we present the first unified framework for formal theories of novelty and use the framework to formally define a family of novelty types. Our framework can be applied across a wide range of domains, from symbolic AI to reinforcement learning, and beyond to open world image recognition. Thus, it can be used to help kick-start new research efforts and accelerate ongoing work on these important novelty-related problems. This extended version of our AAAI 2021 paper included more details and examples in multiple domains.

연구 동기 및 목표

• 인공지능 및 기계학습 도메인 전반에서 통합적이고 형식적인 신규성 정의의 부족을 해결한다.
• 이상 탐지, 오픈세트 인식, 분포 외 탐지 분야에서 '신규성'이라는 용어의 일관성 없는 용법과 비형식적인 사용을 해결한다.
• 신규 입력을 탐지하고 관리하며 학습할 수 있는 능력을 지닌 에이전트의 개발을 지원하는 형식적이고 확장 가능한 프레임워크를 제공한다.
• 공통 이론적 언어를 통해 다양한 도메인 간의 신규성 탐지 모델 비교 및 평가를 가능하게 한다.
• 특히 지각 세계 간 괴리가 발생할 때 신규성 처리가 실패하는 원인과 시점을 형식적으로 규명함으로써 더 견고한 AI 시스템 설계를 촉진한다.

제안 방법

• 세 가지 핵심 공간인 세계 상태 공간 $\mathcal{W}$, 관측 공간 $\mathcal{O}$, 에이전트 상태 공간 $\mathcal{S}$를 정의하며, 각각 차원성이 존재한다.
• 과제에 따라 의존하는 이질성 함수 $\mathcal{D}_{w,\mathcal{T};E_t}$ 와 $\mathcal{D}_{o,\mathcal{T};E_t}$ 를 도입하여 세계 및 관측 공간 내 알려진 상태에서의 이탈 정도를 측정한다.
• 성능 저하 정도를 정량화하기 위해 회한 함수 $\mathcal{R}_{w,\mathcal{T}}$, $\mathcal{R}_{o,\mathcal{T}}$, $\mathcal{R}_{a,\mathcal{T}}$ 를 정의한다.
• 지각 연산자 $\mathcal{P}$ 를 사용하여 세계 상태에 간접적으로 접근할 수 있도록 하여 관측 가능한 신규성과 관측 불가능한 신규성의 차이를 명확히 한다.
• 이질성과 회한이 세계, 관측, 또는 에이전트 공간에 존재하는지에 따라 신규성 유형을 분류하며, 감지할 수 없는, 관리 가능한, 번거로운 등 하위 유형을 포함한다.
• CartPole 환경에 프레임워크를 적용하여, 신규성 평가에서 숨겨진 문제를 드러내고 더 나은 평가 설계를 이끌어내는 방법을 시연한다.

실험 결과

연구 질문

• RQ1 다양한 인공지능 및 기계학습 문제 도메인을 통합할 수 있는 방식으로 신규성을 어떻게 형식적으로 정의할 수 있는가?
• RQ2 세계 수준, 관측 수준, 에이전트 수준의 신규성 간의 핵심 차이점은 무엇이며, 이는 성능 회한과 어떻게 관련되는가?
• RQ3 지각 수준과 세계 수준의 이질성 또는 회한 간 괴리가 신규성 탐지 및 관리에 어떤 도전을 야기하는가?
• RQ4 형식적 프레임워크는 오픈월드 및 강화학습 환경에서 신규성 탐지 시스템의 설계 및 평가를 어떻게 향상시킬 수 있는가?
• RQ5 관리 가능한 또는 번거로운 등 특정 유형의 신규성은 평가 지표에서 특별한 고려가 필요하며, 이를 어떻게 형식적으로 식별할 수 있는가?

주요 결과

• 이질성과 회한을 세계, 관측, 에이전트 공간 전반에 걸쳐 조합함으로써, 감지 가능한, 감지할 수 없는, 관리 가능한, 번거로운 등 다양한 유형의 신규성을 성공적으로 형식화하였다.
• 관측에 영향을 주지 않지만 세계 상태를 변화시키는 감지할 수 없는 세계 수준의 신규성은 성능 회한이 높을 경우 특히 중요한 도전 과제로 규명되었다.
• 세계 수준과 관측 수준의 이질성 또는 회한이 상충하는 번거로운 신규성은 평가를 복잡하게 만들며 벤치마킹에서 주의 깊은 대응이 필요하다는 점이 입증되었다.
• 세계 수준과 지각 수준의 신규성 평가가 다를 경우, 신규성 탐지가 상당히 어려워지며, 이는 CartPole 사례 연구를 통해 예측된 바를 검증하였다.
• CartPole에 프레임워크를 적용함으로써, 성능에 영향을 주는 관측되지 않은 세계 구성 요소의 영향과 같은 예상치 못한 문제를 발견하였으며, 이는 새로운 실험적 통찰을 이끌어냈다.
• 형식화된 프레임워크 덕분에 다양한 도메인 간에 일관된 비교 및 신규성 모델 개발이 가능해졌으며, 오픈세트 인식 및 분포 외 탐지 분야 연구의 애매함을 줄이고 재현 가능성을 향상시켰다.