[논문 리뷰] Modeling AGI Safety Frameworks with Causal Influence Diagrams

Tom Everitt, Ramana Kumar외 2명|arXiv (Cornell University)|2019. 06. 20.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 9

한 줄 요약

이 논문은 인과적 영향 다이어그램(CIDs)을 도입하여 다양한 인공통합지능(AGI) 안전 프레임워크를 통합적인 시각적 및 분석적 프레임워크로 모델링하고 비교·대조하기 위한 방법을 제시한다. 에이전트의 목표, 정보 접근성, 인과적 의존성 등을 표현함으로써 CIDs는 보상 모델링과 협동적 역강화학습(CIRL) 간의 인간 피드백의 역할 등과 같은 인centive와 가정의 핵심적인 차이를 드러내며, 자기실현적 예언과 같은 안전 위험을 더 명확히 특정할 수 있게 한다.

ABSTRACT

Proposals for safe AGI systems are typically made at the level of frameworks, specifying how the components of the proposed system should be trained and interact with each other. In this paper, we model and compare the most promising AGI safety frameworks using causal influence diagrams. The diagrams show the optimization objective and causal assumptions of the framework. The unified representation permits easy comparison of frameworks and their assumptions. We hope that the diagrams will serve as an accessible and visual introduction to the main AGI safety frameworks.

연구 동기 및 목표

• 다양한 AGI 안전 프레임워크를 통합적이고 시각적으로 표현하여 이해도와 비교 가능성 향상을 위한 것이다.
• 다른 용어와 개념으로 인해 가려져 있던, 안전 프레임워크 간의 숨겨진 인과적 가정과 구조적 차이를 드러내기 위한 것이다.
• 인과적 의존성을 명시적으로 모델링함으로써 에이전트의 인센티브와 잠재적 안전 실패(예: 자기실현적 예언)를 조기에 특정할 수 있도록 하기 위한 것이다.
• 실행 구현 세부사항을 간소화하고 프레임워크 수준의 설계 원칙에 집중함으로써 AGI 안전에 대한 고수준 분석을 지원하기 위한 것이다.
• 인과적 영향 다이어그램이 연구자들이 AGI 안전 프레임워크를 체계적으로 평가하고 논의할 수 있는 공통 언어로 기능할 수 있음을 보여주기 위한 것이다.

제안 방법

• 에이전트의 선택과 목표를 표현하기 위해 결정 노드(사각형), 유틸리티 노드(다이아몬드), 정보 연결선(점선)을 포함한 인과적 영향 다이어그램(CIDs)을 사용해 AGI 안전 프레임워크를 모델링한다.
• 각 프레임워크를 방향성 있는 간선이 인과적 영향을 나타내는 베이지안 네트워크로 표현하며, 결정 노드는 오직 부모 정보 노드에 의존한다.
• 반복적 또는 순환적인 훈련 과정(예: 반복적 보상 모델링 또는 IDA)을 모델링하기 위해 다중 에이전트 CIDs를 사용하지만, 핵심 통찰을 유지할 수 있는 단일 에이전트 모델이 더 간단한 경우 우선시한다.
• 표준 강화학습(RL), 협동적 역강화학습(CIRL), 보상 모델링, 반사적 오라클 등을 CIDs로 형식화하여 목표, 정보, 인과적 경로를 매핑한다.
• 가용한 정보 기반으로 유틸리티 함수를 최적화하는 합리적 의사결정자로 에이전트를 모델링하기 위해 의도적 태도를 적용하며, 인과적 구조를 유지한다.
• 조건부 독립성과 d-분리 기법을 사용해 인과적 가정을 검증하여, 다이어그램이 간섭 상황에서 어떤 변수들이 다른 변수에 영향을 미치는지를 정확히 반영하고 있는지 확인한다.

실험 결과

연구 질문

• RQ1 인과적 영향 다이어그램은 다양한 AGI 안전 프레임워크의 구조적 가정과 인센티브를 체계적으로 비교하는 데 어떻게 활용될 수 있는가?
• RQ2 보상 모델링과 협동적 역강화학습(CIRL) 간의 주요 인과적 구조적 차이는 무엇이며, 특히 인간의 선호에서 에이전트 보상에 이르는 경로 측면에서 어떤가?
• RQ3 어떤 방식으로 인과 다이어그램은 자기실현적 예언과 같은 문제적 행동을 유도하는 에이전트의 인센티브를 드러내는가?
• RQ4 툴 AI 및 반사적 오라클과 같은 프레임워크는 어떻게 자기실현적 예언을 가능하게 하는 인과 경로를 끊는가? 이는 안전성에 대해 어떤 함의를 갖는가?
• RQ5 CIDs는 어느 정도까지 AGI 안전 연구의 공통 분석 언어로 기능할 수 있으며, 이는 더 명확한 소통과 설계 결함 탐지에 어떻게 기여하는가?

주요 결과

• 인과적 영향 다이어그램은 다양한 AGI 안전 프레임워크의 표현을 성공적으로 통합하여, 그들의 구조적 가정과 인센티브를 직접 비교 가능하게 한다.
• CIRL와 보상 모델링 간의 핵심적 차이는 인간 선호에서 보상에 이르는 인과 경로에 있다: CIRL에서는 보상이 선호에서 직접 유도되지만, 보상 모델링에서는 피드백 데이터가 이 관계를 매개한다.
• 예측 시스템에서 에이전트 예측 → 세계 상태 → 보상에 이르는 인과 경로가 다이어그램을 통해 명확히 드러나며, 이는 자기실현적 예언 위험을 설명한다.
• 반사적 오라클 및 툴 AI와 같은 프레임워크는 에이전트의 출력과 보상받는 결과 사이의 인과적 연결을 끊음으로써 자기실현적 예언을 피한다.
• IDA나 반복적 보상 모델링과 같은 순환적 훈련 과정에 대해 의도적 태도를 적용한 경우, CIDs로도 이를 모델링할 수 있지만, 일반적으로 단순한 모델만으로도 고수준의 통찰을 얻을 수 있다.
• 인과 다이어그램은 보상 모델 노드의 마진화 가정이 타당한지, 또는 인간 선호 매개변수와 관련된 중요한 의존성을 가려버리는지 여부를 식별하는 데 도움을 준다.