[논문 리뷰] From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven Learning in Artificial Intelligence Tasks

Chenyu Sun, Hangwei Qian외 1명|arXiv (Cornell University)|2022. 01. 20.

Psychological and Educational Research Studies인용 수 13

한 줄 요약

이 논문은 인간의 호기심에 기반한 심리학 이론을 영감으로 삼아, 인공지능에서 내재적 동기를 이끄는 데 목적이 있는 인공호기심을 위한 통합된 계산 프레임워크를 제안한다. 강화학습, 추천, 분류 분야에서 호기심 기반 학습(CDL)을 검토하여, 낯설음과 불확실성과 같은 콜라티브 변수를 함수로 모델링함으로써 샘플 효율성, 탐색 능력, 일반화 능력 향상을 입증한다.

ABSTRACT

Psychological curiosity plays a significant role in human intelligence to enhance learning through exploration and information acquisition. In the Artificial Intelligence (AI) community, artificial curiosity provides a natural intrinsic motivation for efficient learning as inspired by human cognitive development; meanwhile, it can bridge the existing gap between AI research and practical application scenarios, such as overfitting, poor generalization, limited training samples, high computational cost, etc. As a result, curiosity-driven learning (CDL) has become increasingly popular, where agents are self-motivated to learn novel knowledge. In this paper, we first present a comprehensive review on the psychological study of curiosity and summarize a unified framework for quantifying curiosity as well as its arousal mechanism. Based on the psychological principle, we further survey the literature of existing CDL methods in the fields of Reinforcement Learning, Recommendation, and Classification, where both advantages and disadvantages as well as future work are discussed. As a result, this work provides fruitful insights for future CDL research and yield possible directions for further improvement.

연구 동기 및 목표

• 심리학적 호기심을 계산적 프레임워크로 형식화하여 인간과 유사한 호기심과 인공지능 사이의 격차를 메우는 것.
• 과적합, 일반화 능력 부족, 높은 계산 비용, 제한된 데이터 등의 주요 AI 과제를 내재적 동기를 활용하여 해결하는 것.
• 강화학습, 추천, 분류 분야에서 기존 CDL 방법을 검토하고 통합하여 샘플 효율성 향상과 자율적 탐색을 개선하는 것.
• 콜라티브 변수의 상호작용, 평가 기준, 안전성/개인정보 보호 문제와 같은 CDL의 열린 과제를 규명하는 것.
• 활성학습, 소수의 샘플 학습, 메타학습, 설명 가능 AI 분야에서 호기심 기반 메커니즘을 활용한 향후 연구 방향을 제안하는 것.

제안 방법

• 심리학 원리에 기반한 인공호기심을 정량화하기 위한 통합 프레임워크를 제안하며, 낯설음, 불확실성, 놀라움과 같은 콜라티브 변수의 함수로 모델링한다.
• 다양한 콜라티브 변수를 통합하여 호기심 유발의 계산적 공식을 도입함으로써 그 상호작용의 동적 특성을 포착한다.
• 강화학습(예: 내재적 호기심 모듈), 추천(예: 호기심 기반 사용자 모델링), 분류(예: 온라인 학습을 위한 C-ELM) 분야에서의 CDL 방법을 검토한다.
• 세계 모델의 예측 오차를 호기심 신호로 사용하여 강화학습에서 내재적 보상 조정을 수행함으로써 탐색을 장려한다.
• 밀도 높은 외재적 보상에 의존하는 것을 줄이고, 데이터 부족 환경에서 자기주도적, 지속적인 학습을 가능하게 하기 위해 호기심 메커니즘을 적용한다.
• 메타학습과 설명 가능 AI에 호기심을 통합하는 향후 방법론적 방향을 제안하며, 안전성 및 개인정보 보호 제약 조건을 고려한다.

실험 결과

연구 질문

• RQ1 심리학적 호기심 이론는 어떻게 인공지능을 위한 계산적으로 구현 가능한 프레임워크로 형식화될 수 있는가?
• RQ2 강화학습, 추천, 분류와 같은 다양한 AI 작업에서 호기심 기반 학습의 핵심 구성 요소와 메커니즘은 무엇인가?
• RQ3 콜라티브 변수(예: 낯설음, 불확실성)는 어떻게 상호작용하여 인공호기심을 형성하는가? 그리고 그 통합이 중요한 이유는 무엇인가?
• RQ4 평가, 일반화, 안전성 측면에서 현재의 CDL 방법의 한계는 무엇이며, 어떻게 보완할 수 있는가?
• RQ5 호기심 기반 학습은 소수의 샘플 학습 및 활성학습 시나리오에서 샘플 효율성, 일반화 능력, 자율적 학습을 어떻게 향상시킬 수 있는가?

주요 결과

• 심리학적 원리인 낯설음, 불확실성, 놀라움을 통합한 통합된 계산적 프레임워크를 인공호기심에 제안한다.
• 강화학습 분야에서 세계 모델의 예측 오차를 기반으로 한 내재적 보상 사용으로 인해 CDL 방법이 탐색 능력과 샘플 효율성을 크게 향상시킨다.
• 추천 시스템에서는 호기심 기반 모델이 인간의 인지 행동을 더 잘 시뮬레이션하여 더 매력적이고 개인화된 상호작용을 가능하게 한다.
• 온라인 분류 분야에서 C-ELM는 자기조직화 학습을 통해 학습 단계를 줄이고 과적합을 방지하는 데 있어 호기심 메커니즘의 실현 가능성을 입증한다.
• 낯설음과 불확실성과 같은 콜라티브 변수 간의 상호작용은 현실적인 호기심 유발에 필수적이지만, 현재의 CDL 방법에서는 대부분 간과되어 있다.
• CDL 시스템 평가의 주요 과제는 인간과 유사한 호기심을 측정할 수 있는 표준 기준 평가 기준이 없기 때문에, 심리학과 신경과학 분야에서의 다학제적 검증이 절실한 상황이다.