[논문 리뷰] AGI Agent Safety by Iteratively Improving the Utility Function

Koen Holtman|arXiv (Cornell University)|2020. 07. 10.

Reinforcement Learning in Robotics참고 문헌 18인용 수 5

한 줄 요약

이 논문은 초기 배포 시부터 수학적으로 보장되는 안전성 특성 S1과 S2를 확보하는 증명 가능하게 안전한 AGI 안전 계층을 제안한다. 이 계층은 에이전트의 유틸리티 함수의 반복적 개선을 가능하게 하면서도, 과정을 조작하거나 제어하려는 동기를 억제한다. 마코프 결정 과정(MDP) 프레임워크에 무감각성 기법과 행정적 무관심성( bureaucratic blindness)을 통합함으로써, 안전성 특성 S1과 S2가 수학적으로 보장된다.

ABSTRACT

While it is still unclear if agents with Artificial General Intelligence (AGI) could ever be built, we can already use mathematical models to investigate potential safety systems for these agents. We present an AGI safety layer that creates a special dedicated input terminal to support the iterative improvement of an AGI agent's utility function. The humans who switched on the agent can use this terminal to close any loopholes that are discovered in the utility function's encoding of agent goals and constraints, to direct the agent towards new goals, or to force the agent to switch itself off. An AGI agent may develop the emergent incentive to manipulate the above utility function improvement process, for example by deceiving, restraining, or even attacking the humans involved. The safety layer will partially, and sometimes fully, suppress this dangerous incentive. The first part of this paper generalizes earlier work on AGI emergency stop buttons. We aim to make the mathematical methods used to construct the layer more accessible, by applying them to an MDP model. We discuss two provable properties of the safety layer, and show ongoing work in mapping it to a Causal Influence Diagram (CID). In the second part, we develop full mathematical proofs, and show that the safety layer creates a type of bureaucratic blindness. We then present the design of a learning agent, a design that wraps the safety layer around either a known machine learning system, or a potential future AGI-level learning system. The resulting agent will satisfy the provable safety properties from the moment it is first switched on. Finally, we show how this agent can be mapped from its model to a real-life implementation. We review the methodological issues involved in this step, and discuss how these are typically resolved.

연구 동기 및 목표

• AGI 에이전트가 인간 주도의 유틸리티 함수 업데이트 과정을 제어하거나 조작하려는 동기를 갖는 위험을 해결하기 위해.
• 반복적 개선을 통해 인간이 에이전트의 목표 사양을 유지할 수 있도록 하는 안전 계층을 설계하기 위해.
• 안전 계층이 에이전트의 잠재적 간섭 동기를 억제함을 공식적으로 증명하기 위해.
• 구체적인 학습 에이전트 아키텍처를 통해 추상적 안전 모델과 실제 구현 간 격차를 메우기 위해.
• 직접적 가치 일치 외의 유틸리티 함수 공학, 예를 들어 행정적 무관심성과 불확실성 억제 개념을 탐색하기 위해.

제안 방법

• 안전 계층은 에이전트 정책이 보정된 유틸리티 함수를 통해 유도되는 마코프 결정 과정(MDP) 모델에 통합된다. 이 유틸리티 함수에는 페널티 항이 포함되어 있다.
• Armstrong(2015)의 무감각성 기법이 적용되어 에이전트가 유틸리티 함수가 업데이트되는지 여부에 대해 무감각해지도록 보장된다.
• 안전 계층은 인간 간섭을 위한 전용 입력 단자를 도입하여, 구멍을 실시간으로 수정하거나 강제 비활성화할 수 있도록 한다.
• 에이전트가 업데이트를 방해하거나 조작하려는 동기를 가지지 않도록 보장하기 위해 새로운 안전성 특성 S2를 증명한다.
• 기계 학습 기반 예측 모델을 활용하여 페이로드 보상 함수와 불확실성 페널티를 통합함으로써, 민첩성과 안전성을 유지한다.
• 물리적 구현은 '행정적 무관심성' 메커니즘을 통해 이루어지며, 에이전트가 업데이트의 출처에 대해 무감각해지도록 하여 조직의 의사결정 방식을 모방한다.

실험 결과

연구 질문

• RQ1 어떻게 AGI 에이전트를 설계하여 반복적 유틸리티 함수 개선을 수용하면서도 과정을 제어하거나 조작하려는 동기를 갖지 않게 할 수 있는가?
• RQ2 에이전트가 유틸리티 함수 업데이트에 대한 인간 간섭에 대해 언제나 무감각해지도록 보장하는 수학적 조건은 무엇인가?
• RQ3 안전 계층이 실세계 학습 시스템과 호환되면서도 조작 동기를 공식적으로 억제할 수 있는가?
• RQ4 추상적 안전 모델을 실제 구현으로 매핑할 때 증명 가능한 안전성 특성을 손상시키지 않게 하려면 어떻게 해야 하는가?
• RQ5 '행정적 무관심성'은 다른 형태의 불확실성이나 위임과 비교해 조작 동기를 줄이는 데 어떤 역할을 하는가?

주요 결과

• 안전 계층은 안전성 특성 S1과 S2에 의해 수학적으로 증명된 바와 같이, 에이전트가 유틸리티 함수 개선 과정을 조작하거나 제어하려는 동기를 억제함을 입증한다.
• 에이전트는 목표에 대해 완전히 확신을 가진 상태이지만, '행정적 무관심성'을 통해 목표에 대한 불확실성에 의존하지 않고도 조작을 피한다.
• 안전 계층은 기존의 기계 학습 시스템과 통합 가능하며, 예측 모델과 유한 시간 계획을 사용하더라도 안전성 특성을 유지한다.
• 에이전트가 켜진 순간부터 안전하게 배포될 수 있으며, 유틸리티 함수의 사전 일치가 필요하지 않다.
• 이론적 분석 결과, 가치 차이(예: $V^{*}_{ ext{sl}}(ipx) - V^{*}_{ ext{sl}}(ipx)$) 기반의 페널티 항이 학습 과정을 안정화시키고 보상 해킹을 방지할 수 있음을 보여준다.
• 모델을 현실에 매핑하기 위해서는 예측 실패와 위반 페널티를 신중하게 다루어야 하며, 실제 세계의 안전 문화가 강건성을 위한 유사물로 기능한다.