[논문 리뷰] A Cyber Science Based Ontology for Artificial General Intelligence Containment

Jason M. Pittman, Courtney E. Soboleski|arXiv (Cornell University)|2018. 01. 28.

Scientific Computing and Data Management참고 문헌 36인용 수 3

한 줄 요약

이 논문은 인공통합지능(AGI)의 제어를 체계적으로 형식화하기 위해 사이버 과학 기반 온톨로지(ontology)를 제안한다. 핵심 요소인 AGI, 인간, 사이버 세계를 5단계 프레임워크와 32개의 기술자표로 체계화한다. 주요 기여는 향후 AGI 제어 연구를 위한 체계적이고 과학적으로 엄밀한 기초를 마련한 데 있다. 이는 개념적 명료성, 맥락적 프레임워킹, 방법론적 엄밀성의 부족을 보완한다.

ABSTRACT

The development of artificial general intelligence is considered by many to be inevitable. What such intelligence does after becoming aware is not so certain. To that end, research suggests that the likelihood of artificial general intelligence becoming hostile to humans is significant enough to warrant inquiry into methods to limit such potential. Thus, containment of artificial general intelligence is a timely and meaningful research topic. While there is limited research exploring possible containment strategies, such work is bounded by the underlying field the strategies draw upon. Accordingly, we set out to construct an ontology to describe necessary elements in any future containment technology. Using existing academic literature, we developed a single domain ontology containing five levels, 32 codes, and 32 associated descriptors. Further, we constructed ontology diagrams to demonstrate intended relationships. We then identified humans, AGI, and the cyber world as novel agent objects necessary for future containment activities. Collectively, the work addresses three critical gaps: (a) identifying and arranging fundamental constructs; (b) situating AGI containment within cyber science; and (c) developing scientific rigor within the field.

연구 동기 및 목표

• 현재 비체계적 사이버보안 기법에 의존하는 AGI 제어에 대한 체계적 개념적 프레임워크의 부족을 해결하기 위해.
• 사이버 과학에 기반한 공식적인 온톨로지를 구축하여 AGI 제어의 기본 구성요소를 체계화하기 위해.
• 단순한 인간 대 AGI 이분법이 아닌, 더 넓고 역동적인 사이버 세계 안에서 AGI 제어를 위치지어 보기 위해.
• 과학적 탐구와 공동 이해를 가능하게 하기 위해 재현 가능하고 공리적 기반을 제공하기 위해.
• 현재 AGI 제어 분야의 진전을 저해하고 있는 과학적 엄밀성과 개념적 명료성의 격차를 메우기 위해.

제안 방법

• 학술 문헌에서 유도된 5단계 계층적 수준, 32개의 원자적 코드, 32개의 관련 기술자표를 가진 단일 도메인 온톨로지를 개발하였다.
• 핵심 엔티티로서 인간, AGI, 사이버 세계를 포함한 세 가지 새로운 참가자 객체를 정의하였다.
• 제어 동역학을 표현하기 위해 형식적인 다이어그램적 구조를 사용하여 관계(R), 하위속성(S), 기능(F)을 모델링하였다.
• 특히 Kott(2015)의 악성 소프트웨어 및 의도에 관한 프레임워크를 적용하여, AGI와 제어를 능동적이고 상호작용적인 참가자로 재정의하였다.
• 제어를 사이버 세계 내 참가자 간의 능동적이고 역동적인 관계로 형식화하였으며, AGI가 주도하는 공격과 인간/방어자에 의해 주도되는 방어를 구분하였다.
• 기능 모델 f(c) = k는 제어 평형 상태를, f(c) = k+1는 공격 상태를 모델링하며, 공격의 이니셔티브와 의도를 공격의 이중적 특성으로 도입하였다.

실험 결과

연구 질문

• RQ1 어떻게 체계적인 온톨로지를 구성하여 AGI 제어의 기본 구성요소를 체계화할 수 있는가?
• RQ2 AGI 제어를 사이버 과학에 위치시킴으로써 개념적 명료성과 연구의 엄밀성이 어떻게 향상되는가?
• RQ3 역동적인 사이버 세계에서 AGI 제어를 정의하는 데 필수적인 참가자 객체와 관계는 무엇인가?
• RQ4 공격과 방어는 어떻게 형식적으로 구분할 수 있는가? 특히 이니셔티브와 의도 측면에서 말이다.
• RQ5 사이버 과학 기반 온톨로지는 이분법적이고 적대적인 모델에서 더 세밀하고 과학적으로 기반을 둔 제어 전략으로의 전환을 가능하게 하는가?

주요 결과

• 5단계 온톨로지와 32개의 기술자표를 성공적으로 개발하여 AGI 제어 연구를 위한 형식화되고 체계화된 프레임워크를 제공하였다.
• 온톨로지는 인간, AGI, 사이버 세계를 포함한 세 가지 핵심 참가자 객체를 식별하여 제어 동역학을 모델링하는 데 필수적임을 보여주었다.
• 제어는 정적 또는 양자택일 상태가 아니라, 사이버 세계 내에서 능동적이고 역동적인 관계로 형식화되었으며, 공격과 방어의 구체적인 역할이 명확히 구분되었다.
• 공격은 이니셔티브(참가자의 행동)와 의도(예비적 또는 반응적)라는 두 가지 동시적 특성으로 정의되며, 방어는 항상 반응적이고 단일한 이니셔티브를 가진다.
• 모델 f(c) = k는 평형 제어를 나타내고, f(c) = k+1는 평형에서의 이탈을 나타내는 공격을 모델링하여 제어 실패의 형식적 분석을 가능하게 한다.
• 이 온톨로지는 비체계적 사이버보안 접근 방식에서 과학적으로 기반을 둔, 재현 가능한 틀로의 전환을 가능하게 하여 향후 AGI 제어 연구에 기여한다.