[논문 리뷰] Toward Defining a Domain Complexity Measure Across Domains

Katarina Z. Doctor, Christine Task외 4명|arXiv (Cornell University)|2023. 03. 07.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 인공지능 시스템에서 도메인에 종속되지 않는 복잡도 측정 프레임워크를 제안하며, 에이전트에 독립적인 내재적 복잡도와 에이전트 및 작업에 의존적인 외재적 복잡도를 구분한다. 닫힌 세계 시뮬레이션에서 열린 세계 환경으로의 전이 시 인공지능의 어려움을 예측할 수 있는 일반화 가능한 측정법을 도입하며, 실제 도메인 배포 실패 사례와 다양한 도메인에서의 복잡도 정량화에 대한 이론적 기반에서 핵심 통찰을 제공한다.

ABSTRACT

Artificial Intelligence (AI) systems planned for deployment in real-world applications frequently are researched and developed in closed simulation environments where all variables are controlled and known to the simulator or labeled benchmark datasets are used. Transition from these simulators, testbeds, and benchmark datasets to more open-world domains poses significant challenges to AI systems, including significant increases in the complexity of the domain and the inclusion of real-world novelties; the open-world environment contains numerous out-of-distribution elements that are not part in the AI systems' training set. Here, we propose a path to a general, domain-independent measure of domain complexity level. We distinguish two aspects of domain complexity: intrinsic and extrinsic. The intrinsic domain complexity is the complexity that exists by itself without any action or interaction from an AI agent performing a task on that domain. This is an agent-independent aspect of the domain complexity. The extrinsic domain complexity is agent- and task-dependent. Intrinsic and extrinsic elements combined capture the overall complexity of the domain. We frame the components that define and impact domain complexity levels in a domain-independent light. Domain-independent measures of complexity could enable quantitative predictions of the difficulty posed to AI systems when transitioning from one testbed or environment to another, when facing out-of-distribution data in open-world tasks, and when navigating the rapidly expanding solution and search spaces encountered in open-world domains.

연구 동기 및 목표

• 다양한 인공지능 응용 분야에 적용 가능한 일반적이고 도메인에 종속되지 않는 도메인 복잡도 측정법을 개발하기 위해.
• 에이전트에 독립적인 내재적 복잡도와 에이전트 및 작업에 의존적인 외재적 복잡도를 구분하기 위해.
• 시뮬레이션에서 열린 세계 환경으로의 전이 시 인공지능 시스템의 어려움을 정량적으로 예측할 수 있도록 하기 위해.
• 분포 외 요소를 포함한 실제 도메인에서의 복잡도 수준을 특성화하여 강건한 인공지능 배포를 지원하기 위해.
• 특정 도메인이나 모델에 종속되지 않는 도메인 일반화 복잡도에 대한 연구 계획의 기반을 마련하기 위해.

제안 방법

• 도메인 복잡도를 내재적(도메인 고유의 특성)과 외재적(에이전트 및 작업에 의존)이라는 두 구성요소로 정의한다.
• SAIL-ON 열린 세계 신규성 계층을 구조적 기반으로 삼아, 도메인에 종속되지 않는 방식으로 복잡도 구성요소를 프레임워크화한다.
• 신규성 계층(객체, 에이전트, 행동, 관계, 상호작용, 규칙, 목표, 사건)을 기반으로 복잡도 차원을 식별한다.
• 실제 도메인 배포 실패 사례(예: AUV, 로봇공학)를 분석하여, 인식 불일치와 환경 노이즈로 인한 복잡도 증가를 규명한다.
• 네트워크, 동적 시스템, 무한 상태 공간 등 다양한 시스템에서 복잡도 측정법의 타당성을 검증하기 위한 이론적 및 실증적 연구 길을 제안한다.
• 경계 상자 기법과 상태공간 모델링을 통합하여 실제 배포에서 복잡도 완화의 실용성을 입증한다.

Figure 1: Venn diagram for open-world novelty

실험 결과

연구 질문

• RQ1 다양한 도메인에서 인공지능 시스템의 어려움을 예측할 수 있는 도메인에 종속되지 않는 복잡도 측정법을 유도할 수 있는가?
• RQ2 도메인 복잡도와 작업 어려움 사이에 강력한 이론적 연결이 존재하는가, 아니면 관계는 오직 확률적일 뿐인가?
• RQ3 네트워크, 동적 시스템, 미분 방정식과 같은 복잡한 시스템에 복잡도 측정법을 적용할 수 있는가, 만약 가능하면 어떤 차원을 따라 적용되는가?
• RQ4 무한 상태 공간 및 행동 공간에서의 복잡도를 구분하는 데 적합한 수학적 프레임워크는 무엇인가?
• RQ5 도메인 특화 가정 없이 여러 도메인에서 복잡도 측정법을 실증적으로 검증할 수 있는가?

주요 결과

• 실제 인공지능 배포에서 열린 세계 환경에서 예상치 못한 도메인 복잡도 증가로 인해 실패가 발생하며, 특히 인식 및 상태공간 표현에서 두드러진다.
• 시뮬레이션에서 실제 환경으로의 전이 과정에서 에이전트의 내부 모델과 외부 환경 간의 불일치로 인해 병리적 행동이 발생할 수 있다.
• AUV 배포에서 경계 상자 기법이 상태공간을 제약함으로써 복잡도를 효과적으로 완화하여 열수면에서 안정적인 운영을 가능하게 하였다.
• 내재적 복잡도와 외재적 복잡도의 프레임워크는 다양한 도메인에서 도메인 복잡도를 정량화할 수 있는 개념적 기반을 제공한다.
• 제안된 프레임워크는 인식 이질성, 환경 노이즈, 분포 외 요소와 같은 핵심 복잡도 차원을 식별하는 데 기여한다.
• 연구 계획은 무한 시스템 및 비선형 역학에 대한 복잡도 이론의 적용을 포함한 복잡도 이론 분야의 핵심 열린 질문들을 규명한다.

Figure 2: Minimum number of layers needed by DQN agent to achieve (left) 50% performance (pole balanced for 100 seconds) and (right) 100% performance (pole balanced for 200 seconds) on tasks in which the agent is trained on one value of gravity but is tested on another value.