[논문 리뷰] Ontological Crises in Artificial Agents' Value Systems

Peter de Blanc|arXiv (Cornell University)|2011. 05. 19.

Logic, Reasoning, and Knowledge참고 문헌 2인용 수 6

한 줄 요약

이 논문은 인공 에이전트의 철학적 위기, 즉 한 온톨로지에서 정의된 유용성 함수가 더 정확한 새로운 온톨로지로 업그레이드될 때 더 이상 정의되지 않게 되는 상황을 다룹니다. Kullback-Leibler 발산 최소화를 사용하는 방법을 제안하여 온톨로지 간 전이 및 출력 행렬을 매핑함으로써, 4상태 대 5상태 복도 모델에서 유용성 함수를 성공적으로 정렬하였으며, 결과적으로 거의 정규화된 복원과 직관적인 목표 유지가 이루어졌습니다.

ABSTRACT

Decision-theoretic agents predict and evaluate the results of their actions using a model, or ontology, of their environment. An agent's goal, or utility function, may also be specified in terms of the states of, or entities within, its ontology. If the agent may upgrade or replace its ontology, it faces a crisis: the agent's original goal may not be well-defined with respect to its new ontology. This crisis must be resolved before the agent can make plans towards achieving its goals. We discuss in this paper which sorts of agents will undergo ontological crises and why we may want to create such agents. We present some concrete examples, and argue that a well-defined procedure for resolving ontological crises is needed. We point to some possible approaches to solving this problem, and evaluate these methods on our examples.

연구 동기 및 목표

• 인간의 환경 모델을 업그레이드하거나 교체할 때 발생하는 인공 에이전트의 온톨로지 위기 문제를 식별하고 형식화하는 것.
• 구식 온톨로지에서 새로운 더 정확한 온톨로지로의 유용성 함수를 번역하기 위한 체계적이고 계산적으로 실현 가능한 방법을 개발하는 것.
• 에이전트의 세계에 대한 개념적 모델이 근본적으로 변화하더라도 일관된 목표 지향 행동을 유지할 수 있도록 하는 것.
• 개념적 및 온톨로지적 진화를 다룰 수 있는 가치 정렬 인공 에이전트를 구축하는 데 기초를 마련하는 것.

제안 방법

• 유한 상태 모델과 정의된 동작 및 센서 알파벳을 사용하여 에이전트를 모델링하고, 상태 전이 및 출력을 확률적 행렬로 표현합니다.
• 두 온톨로지(O₀ 및 O₁)의 상태 간 매핑 함수 φ를 정의하여 유용성 함수를 번역합니다.
• 핵심 기법은 양방향으로 전이 및 출력 행렬 간의 Kullback-Leibler 발산의 합을 최소화하는 것입니다: ∑ₓ DKL(T₁ˣ || φ⁻¹T₀ˣφ) + DKL(A₁ || φ⁻¹A₀φ) + ∑ₓ DKL(T₀ˣ || φT₁ˣφ⁻¹) + DKL(A₀ || φA₁φ⁻¹).
• 상태 전이의 통계적 구조를 최대한 유지하는 해를 찾기 위해 하이클라이밍 알고리즘을 사용하여 매핑 φ를 최적화합니다.
• 매핑의 품질을 평가하기 위해 φφ⁻¹ 및 φ⁻¹φ가 항등행렬에 얼마나 가까운지 확인함으로써 가역성과 정보 보존 여부를 검증합니다.
• 이 방법은 4상태 온톨로지에서 5상태 온톨로지로의 매핑을 시험하여, 유용성 함수가 변환 과정에서도 유지됨을 입증했습니다.

실험 결과

연구 질문

• RQ1 인공 에이전트가 환경 온톨로지를 교체하거나 업그레이드할 때 유용성 함수를 어떻게 유지할 수 있는가?
• RQ2 다른 온톨로지의 상태 간에 유효한 매핑을 정의할 수 있는 기준은 무엇인가, 이는 에이전트의 목표를 유지하는 데 기여하는가?
• RQ3 온톨로지 간 매핑을 얼마나 효율적이고 가역적으로 계산할 수 있으며, 정보 손실를 최소화할 수 있는가?
• RQ4 목표의 일관성을 잃지 않고도 유용성 함수를 한 개념적 프레임워크에서 다른 것으로 체계적으로 번역할 수 있는가?
• RQ5 온톨로지 변화는 인공지능의 가치 정렬에 어떤 영향을 미치는가?

주요 결과

• 4상태 복도 모델과 5상태 복도 모델 간 최적의 매핑 φ는 약 0.055의 KL 발산 합을 기록하여 온톨로지 간의 높은 정밀도 대응을 나타냈습니다.
• φφ⁻¹ 행렬은 항등행렬에 매우 가까웠으며, 비대각선 요소들은 대부분 0.15 이하였고, 이는 강력한 가역성과 정보 복원 능력을 시사했습니다.
• φ⁻¹φ 행렬 역시 거의 항등행렬의 구조를 보였고, 가장 큰 비대각선 요소는 약 0.36 수준이었으며, 이는 매핑이 거의 역행 가능하다는 것을 확인했습니다.
• φ 매핑을 유용성 함수에 적용한 후, 에이전트는 오른쪽 끝 상태에 대해 유용도 1을 할당하고 나머지 상태에는 0을 할당하여 오른쪽 끝에 도달하는 것이 목표임을 정확히 반영했습니다.
• 에이전트가 예상보다 긴 복도를 만나는 직관에 어긋나는 상황에서도, 새로운 상태들을 일관되게 매핑함으로써 목표가 성공적으로 유지되었습니다.
• 결과적으로 체계적이고 정보 이론 기반의 접근법이 유한 상태 모델에서 온톨로지 위기를 해결할 수 있으며, 온톨로지 변화 과정 동안에도 유용성 함수의 의미를 유지할 수 있음을 보여주었습니다.