[논문 리뷰] Intensional Artificial Intelligence: From Symbol Emergence to Explainable and Empathetic AI

Michael Timothy Bennett, Yoshihiro Maruyama|arXiv (Cornell University)|2021. 04. 23.

Cognitive Science and Education Research참고 문헌 25인용 수 13

한 줄 요약

이 논문은 인식 기반 상징과 의도를 바탕으로 의미를 기반으로 하는 에이전트가 작업의 목적(의도적 해결)을 학습함으로써 설명 가능하고 공감적인 AI를 가능하게 하는 Intensional AI(의도적 인공지능) 프레임워크를 제안한다. 에이전트는 인간의 목표를 추론하고 자연어로 근거를 설명하며, 상징이 거울 뉴런처럼 작동하여 공감과 이해를 지원한다.

ABSTRACT

We argue that an explainable artificial intelligence must possess a rationale for its decisions, be able to infer the purpose of observed behaviour, and be able to explain its decisions in the context of what its audience understands and intends. To address these issues we present four novel contributions. Firstly, we define an arbitrary task in terms of perceptual states, and discuss two extremes of a domain of possible solutions. Secondly, we define the intensional solution. Optimal by some definitions of intelligence, it describes the purpose of a task. An agent possessed of it has a rationale for its decisions in terms of that purpose, expressed in a perceptual symbol system grounded in hardware. Thirdly, to communicate that rationale requires natural language, a means of encoding and decoding perceptual states. We propose a theory of meaning in which, to acquire language, an agent should model the world a language describes rather than the language itself. If the utterances of humans are of predictive value to the agent's goals, then the agent will imbue those utterances with meaning in terms of its own goals and perceptual states. In the context of Peircean semiotics, a community of agents must share rough approximations of signs, referents and interpretants in order to communicate. Meaning exists only in the context of intent, so to communicate with humans an agent must have comparable experiences and goals. An agent that learns intensional solutions, compelled by objective functions somewhat analogous to human motivators such as hunger and pain, may be capable of explaining its rationale not just in terms of its own intent, but in terms of what its audience understands and intends. It forms some approximation of the perceptual states of humans.

연구 동기 및 목표

• 흑상자 AI 모델의 설명 불가능성 문제를 해결하기 위해 목적과 의도에 기반한 근거 기반 프레임워크를 도입한다.
• GPT-3와 같은 상관관계 기반 모델의 한계를 극복하기 위해 에이전트가 *왜* 결정을 내리는지가 아니라 *무엇을* 하는지 이해할 수 있도록 한다.
• 언어 학습이 문법 패턴이 아닌 목표 기반 인식과 기반 지식에 기반하여 이루어지는 의미 이론을 개발한다.
• 공유된 인식 상태와 목표를 모델링하여 에이전트가 인간의 의도와 이해를 기반으로 의사소통할 수 있도록 한다.
• 인간과 유사한 강박감을 가진 에이전트가 거울 뉴런처럼 작동하는 상징을 학습할 수 있으며, 이는 공감과 사회적 이해를 가능하게 한다고 제안한다.

제안 방법

• 사용 가능한 작업을 인식 상태로 정의하고, 올바른 출력(확장적 해결)과 목적 기반(의도적 해결) 해결 방식을 구분한다.
• 하드웨어-인식 상징 시스템에 기반한 목적에 기반한 결정 근거로써 의도적 해결을 형식화한다.
• 언어 획득이 언어 자체가 아니라 인간의 발언이 묘사하는 세계를 모델링함으로써 발생하는 의미 이론을 제안한다.
• 페르시안 세미오틱스를 활용하여 의사소통을 에이전트 간의 공유된 징후, 대상, 해석자에 대한 근사치로 프레임화한다.
• 거울 상징 가설을 도입: 인간과 유사한 동기(예: 고통, 굶주림)에 따라 의도적 학습을 통해 학습된 상징은 거울 뉴런처럼 작동하여 공감을 가능하게 한다.
• 설명 가능성과 계산 가능성의 균형을 위해 의도적 해결과 히우리스틱 근사치(예: 함수 피팅)를 결합한다. 이는 알파고 설계와 유사하다.

실험 결과

연구 질문

• RQ1 흑상자 모델이 실패하는 상황에서 단순 상관관계를 넘어서 진정한 결정 근거를 가진 AI 시스템은 어떻게 설계할 수 있는가?
• RQ2 에이전트가 관찰된 행동의 목적을 추론하고 인간 이해의 맥락에서 결정을 설명할 수 있는 메커니즘은 무엇인가?
• RQ3 언어의 의미가 문법이 아니라 목표 지향적 인식과 의도에서 어떻게 기인하는가?
• RQ4 AI 에이전트는 인간의 의도와 인식 상태를 얼마나 잘 모델링하여 의미 있는 의사소통을 가능하게 할 수 있는가?
• RQ5 의도적 학습을 통해 학습된 상징은 거울 뉴런 유사 행동을 보일 수 있는가? 이는 인공 에이전트의 공감 능력을 가능하게 하는가?

주요 결과

• 의도적 해결은 목적에 기반한 결정 근거를 제공하여 흑상자 모델이 실패하는 상황에서 설명 가능성을 실현한다.
• 의도적 해결은 더 강력한 제약 조건보다 더 적은 예제로 충분하므로 임의의 작업 학습에 최적화되어 더 빠른 학습을 가능하게 한다.
• 의미가 언어 자체에서 기인하는 것이 아니라 에이전트가 인간의 발언과 목표를 일치시키는 데서 기인하며, 이는 인식적이고 의도적인 상태에 언어를 기반으로 한다.
• 의도적 해결을 학습하는 에이전트는 의미와 의도 기반으로 의사소통할 수 있으며, 청자 이해 수준에 맞게 설명을 적응시킬 수 있다.
• 의도적 해결의 일부로 학습된 상징은 거울 뉴런처럼 행동할 수 있으며, 이는 AI에서 공감의 메커니즘을 제안한다.
• 이 프레임워크는 알파고가 설명 불가능했음을 설명한다: 목적 기반 근거 없이 히우리스틱(확장적 해결)만을 사용했기 때문이다.