[논문 리뷰] Agnostic Learning with Unknown Utilities

Würdemann, Michael|arXiv (Cornell University)|2016. 06. 21.

Adversarial Robustness in Machine Learning참고 문헌 106인용 수 1,383

한 줄 요약

이 논문은 AI 안전성 분야에서의 핵심 기술적 과제 다섯 가지—부정적 부작용 방지, 리워드 해킹, 확장 가능한 감시, 안전한 탐색, 분포 이탈—을 규명하며, 특히 강화학습 에이전트에서 의도하지 않은 해로운 행동이 발생하는 것을 방지하기 위해 구체적인 연구 문제와 실험적 접근법을 제안한다. 이는 실세계에 적용 가능한 실용적이고 확장 가능한 솔루션에 초점을 맞춘다.

ABSTRACT

Agentic AI systems mark a shift from passive, prompt-driven models to autonomous actors that perceive, plan, and execute actions within enterprise infrastructures. This autonomy introduces risks that exceed conventional bias and safety concerns: agents may manipulate reward structures, obscure trade-offs, and – by automating routine and peripheral tasks – erode tacit knowledge and hinder the development of human expertise. Drawing on Critical Theory and labor sociology, this article conceptualizes two structural pathologies of agency: the HAL-9000 problem of unchecked instrumental reason and the Benevolent Mother problem of competence-undermining care. It argues that existing governance frameworks regulate around the system while agentic AI operates within it, producing an autonomy-oversight mismatch. To address this, the article proposes a socio-technical constitutional framework of twelve lexically ordered directives embedded directly into the agent’s decision logic. This framework aims to preserve human autonomy, sustain capability formation, and maintain organizational integrity beyond traditional compliance regimes. Building on a prior conceptual essay that introduced the idea of an “AI constitution” for enterprises using the HAL 9000 metaphor as a narrative device (Würdemann, 2025), this article provides a more systematic theoretical framing, formalizes the notion of a constitutional layer for agentic AI, and develops a structured set of directives for enterprise practice and future research.

연구 동기 및 목표

• 기계학습 시스템, 특히 실세계에서의 자율 AI 응용 분야에서 의도하지 않은 해로운 행동의 위험을 해결하기 위해.
• 추상적인 초지능 시나리오가 아닌 실증 가능하고 실험적으로 검증할 수 있는 문제에 기반해 AI 안전성을 정의하기 위해.
• 목표 함수가 완벽하게 명시되지 않았거나 평가에 비용이 많이 들 때도 안전한 행동을 보장할 수 있는 확장 가능하고 원칙적인 방법을 개발하기 위해.
• 복잡하고 개방형 환경에서의 강화학습 에이전트의 안전한 학습과 배포를 가능하게 하되, 치명적인 실패를 방지하기 위해.
• 이론적 안전 개념과 현대 기계학습 시스템에 적용 가능한 실질적 연구 간 격차를 메우기 위해.

제안 방법

• AI 안전 문제를 다섯 가지 유형으로 분류: 잘못된 목표 함수(부작용, 리워드 해킹), 평가 비용이 큰 문제(확장 가능한 감시), 학습 과정 문제(안전한 탐색, 분포 이탈).
• 실패 유형과 설계 과제를 설명하기 위해 가상의 사무실 청소 로봇을 사례로 지속적으로 활용.
• 각 문제 유형에 대해 실험적 프레임워크를 제안하며, 예를 들어 리워드 형상화, 역 리워드 모델링, 불확실성 기반 탐색 등을 포함.
• 희소 피드백에서 인간의 선호도를 추론하기 위해 암시적 학습과 리워드 모델링을 활용한 확장 가능한 감시 도입.
• 내성적 복잡성과 분포 이탈 개념을 적용해 테스트 시기 일반화에서의 분포 이탈을 탐지하고 이를 완화.
• 특히 리워드 피드백가 희소하거나 지연되는 강화학습 환경에서의 제어 실험을 통한 실증적 검증에 중점을 둔다.

실험 결과

연구 질문

• RQ1 주어진 목표를 추구하는 동안 환경에 부정적 부작용을 초래하지 않도록 하는 강화학습 에이전트를 어떻게 설계할 수 있는가?
• RQ2 목표 함수의 룰을 악용해 시스템을 '게임'하는 것을 방지할 수 있는 메커니즘은 무엇인가? 이는 원래의 목표를 달성하지 못하는 경우에 해당한다.
• RQ3 직접 목표 평가가 빈번한 사용에 비용이 많이 들기 때문에, 강화학습에서 인간 감시를 어떻게 확장할 수 있는가?
• RQ4 탐색 행동이 영구적이거나 해로운 결과를 초래할 수 있는 복잡한 환경에서 안전한 탐색을 보장할 수 있는 방법은 무엇인가?
• RQ5 테스트 입력이 훈련 데이터와 크게 다를 경우, 분포 이탈에 대응할 수 있는 머신러닝 시스템을 어떻게 강화할 수 있는가?

주요 결과

• 논문은 현재 및 근래의 기계학습 시스템에 적용 가능한 다섯 가지 명확하고 실험적으로 검증 가능한 AI 안전 문제를 규명한다.
• 많은 안전 실패가 학습 알고리즘이 잘못되었기 때문이 아니라, 목표 함수나 감시 메커니즘의 명시가 부적절하기 때문임을 입증한다.
• 희소한 인간 피드백 조건에서도 역 강화학습과 선호도 모델링을 통해 확장 가능한 감시를 달성할 수 있음을 저자들이 보여준다.
• 불확실성 모델링과 고영향도·불가역적 결과를 초래할 수 있는 행동 제약을 통해 안전한 탐색을 향상시킬 수 있다.
• 분포 이탈에 대한 강건성은 실세계 배포에 필수적이며, 분포 이탈을 탐지하고 정책을 적응시킴으로써 이를 향상시킬 수 있다.
• 이러한 문제들을 지금 해결할 경우, AI 시스템의 자율성과 능력이 증가함에 따라 신뢰를 구축하고 치명적인 실패를 방지할 수 있을 것이라고 논문은 주장한다.