[논문 리뷰] Anticipatory Thinking: A Metacognitive Capability

Adam Amos‐Binks, Dustin Dannenhauer|arXiv (Cornell University)|2019. 06. 28.

Complex Systems and Decision Making참고 문헌 16인용 수 9

한 줄 요약

이 논문은 인공지능 에이전트의 메타인지 능력으로서의 예측적 사고를 도입하여, 계획의 취약점을 사전에 식별하고 외부 실패 원인(조건화 사건)을 예측하며, 위험을 완화하기 위한 비용 효율적인 예측적 행동을 생성하도록 한다. 이 방법은 MIDCA 아키텍처에서 3단계 과정을 통해 구현되며, 수치적 비용-편익 비율을 사용하여 평가되어, 모든 식별된 위험을 완전히 완화한 테스트 케이스에서 0.83 평가 점수를 기록하였다.

ABSTRACT

Anticipatory thinking is a complex cognitive process for assessing and managing risk in many contexts. Humans use anticipatory thinking to identify potential future issues and proactively take actions to manage their risks. In this paper we define a cognitive systems approach to anticipatory thinking as a metacognitive goal reasoning mechanism. The contributions of this paper include (1) defining anticipatory thinking in the MIDCA cognitive architecture, (2) operationalizing anticipatory thinking as a three step process for managing risk in plans, and (3) a numeric risk assessment calculating an expected cost-benefit ratio for modifying a plan with anticipatory actions.

연구 동기 및 목표

• AI 에이전트가 계획의 미래 위험을 선제적으로 평가하고 관리할 수 있도록 하는 메타인지 메커니즘을 개발하는 것.
• MIDCA 인지 아키텍처 내에서 메타인지 레이어에서 작동하는 예측적 사고를 별개의 능력으로 정의하는 것.
• 예측적 사고를 3단계 과정으로 구현하는 것: 계획의 취약점 식별, 실패 원인 예측, 완화 조치 수립.
• 위험 완화 및 비용-편익 트레이드오프 기반으로 예측적 사고의 성공 여부를 평가할 수 있는 정량적 평가 지표를 만드는 것.
• 상상력과 미래 지향적 추론을 목표 추론에 통합하여 현재의 AI 계획 시스템과 인간과 유사한 통찰력 사이의 격차를 메우는 것.

제안 방법

• 예측적 사고는 MIDCA 아키텍처에서 초기 계획 생성 이후에 작동하는 후기 계획, 메타인지 과정으로 구현된다.
• 이 방법은 세 단계로 구성된다: (1) 계획 전반에 걸쳐 사용 가능하지만 초반에만 이용 가능한 원자와 같은 목표 취약점 식별; (2) 관련 계획 상태를 분석하여 외부 요인에 의한 실패 원인(조건화 사건)을 예측적 기대로 생성; (3) 이러한 원인을 완화하기 위한 예측적 행동 수립.
• 두 비율을 사용하여 수치적 위험 평가를 정의한다: (1) 식별된 조건화 사건 중 성공적으로 완화된 비율; (2) 예측적 행동의 기대 비용-편익 비율로, 행동 비용 대 잠재적 완화 영향 비율의 1에서 뺀 값으로 계산된다.
• 평가 공식은 다음과 같다: $AT^{assess}( au) = \frac{|CE(ANT)|}{|CE|} \times \left(1 - \frac{\sum |AA(ANT_i)|}{\sum_{j} impact(ce_j)}\right)$, 여기서 CE는 조건화 사건의 집합이고, AA는 예측적 행동의 비용을 의미한다.
• 프레임워크는 바람 사건이 계획 실행을 위협하는 NBeacons 도메인 예제를 사용하여 평가되었으며, 예측적 행동(예: 그립 훅 챙기기)을 통해 위험을 완화하는 데 사용되었다.
• 이 방법은 단일 결과를 예측하는 데 중점을 두는 예측 또는 기대 시스템과는 달리, 이름이 없거나 예상치 못한 위험을 선제적으로 완화하는 데 초점을 맞추고 있다.

실험 결과

연구 질문

• RQ1 예측적 사고는 어떻게 AI 에이전트의 목표 추론 과정 내에서 공식적으로 정의되고 구현될 수 있는가?
• RQ2 실행 이전에 계획의 취약점을 식별하고 예측하며 완화하는 데 핵심적인 3단계 과정의 주요 구성 요소는 무엇인가?
• RQ3 위험 완화 및 비용-편익 비율을 측정 가능한 지표로 사용하여 예측적 사고의 성공 여부를 어떻게 정량적으로 평가할 수 있는가?
• RQ4 예측, 기대 또는 온라인 위험 인지 계획과 같은 기존 AI 메커니즘과 비교해 예측적 사고는 어떤 점에서 다를 수 있는가?
• RQ5 MIDCA와 같은 인지 아키텍처에 예측적 사고를 통합하여 자율적 의사결정 및 위험 관리 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 예측적 사고 프레임워크는 NBeacons 예제에서 식별된 네 가지 바람 관련 조건화 사건을 모두 식별하고, 예측적 행동을 통해 완전히 완화하였다.
• 평가 지표는 0.83의 점수를 기록하여, 식별된 조건화 사건 중 완화된 비율이 1.0이고, 강력한 0.83의 비용-편익 비율을 반영하였다.
• 비용-편익 비율은 1 - (2/12) = 0.83로 계산되었으며, 이는 바람 사건으로 인해 잠재적으로 12개의 디그 액션을 상실할 수 있었던 데 대해 2개의 행동 단위를 투자하여 이를 방지한 것을 의미한다.
• 프레임워크는 예측이나 기대와는 다름을 입증하였으며, 이름이 없거나 예상치 못한 위험을 완화하는 데 초점을 맞추고 있음을 보여주었다.
• 이 방법은 실패를 경험하지 않고도 행동할 수 있도록 하여, 상상력과 메타인지 추론을 활용해 인간과 유사한 통찰력을 시뮬레이션한다.
• MIDCA의 메타인지 레이어에 예측적 사고를 통합함으로써 후기 계획 위험 분석과 적응적 계획 강화가 가능해졌으며, 이는 자율성과 내구성을 향상시켰다.