[논문 리뷰] NeuroAI for AI Safety

Patrick Mineault, Niccolò Zanichelli외 13명|arXiv (Cornell University)|2024. 11. 27.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 뇌의 구조, 학습 알고리즘, 신경 표현 방식을 모방함으로써 신경과학적 통찰을 인공지능 안전성에 통합하는 NeuroAI를 제안한다. 이는 인공지능의 강건성, 해석 가능성, 일치성 향상에 기여한다. 뇌에 영감을 받은 설계가 능동형 AI에서의 위험을 완화할 수 있음을 입증하였으며, 주요 결과로는 뇌에 기반한 아키텍처와 데이터 기반 훈련을 통해 일반화 능력과 안전성이 향상됨을 보였다.

ABSTRACT

As AI systems become increasingly powerful, the need for safe AI has become more pressing. Humans are an attractive model for AI safety: as the only known agents capable of general intelligence, they perform robustly even under conditions that deviate significantly from prior experiences, explore the world safely, understand pragmatics, and can cooperate to meet their intrinsic goals. Intelligence, when coupled with cooperation and safety mechanisms, can drive sustained progress and well-being. These properties are a function of the architecture of the brain and the learning algorithms it implements. Neuroscience may thus hold important keys to technical AI safety that are currently underexplored and underutilized. In this roadmap, we highlight and critically evaluate several paths toward AI safety inspired by neuroscience: emulating the brain's representations, information processing, and architecture; building robust sensory and motor systems from imitating brain data and bodies; fine-tuning AI systems on brain data; advancing interpretability using neuroscience methods; and scaling up cognitively-inspired architectures. We make several concrete recommendations for how neuroscience can positively impact AI safety.

연구 동기 및 목표

• 미래의 능동형 및 일반 목적의 인공지능 시스템과 관련된 장기적 인공지능 안전성 문제를 다루기.
• 현재의 서사적 인공지능의 한계를 넘어서 뇌과학이 기술적 해결책을 어떻게 제공할 수 있는지 탐색하기.
• 강건성, 협업 능력, 목표 일치성 향상을 위해 뇌에 영감을 받은 접근 방식을 식별하고 평가하기.
• 뇌과학을 인공지능 안전성 연구 및 개발에 통합하기 위한 실천 가능한 권고안 제공하기.

제안 방법

• 딥마인드(DeepMind)의 2018년 인공지능 안전성 프레임워크를 적응하여 뇌과학 기반 솔루션을 강건성, 해석 가능성, 일치성 영역에 맵핑하기.
• 인지 기반 신경망 아키텍처를 통해 뇌 유사 표현 방식과 정보 처리 방식을 모방하기.
• 전기생리학, 칼슘 이미징 등의 뇌 데이터를 사용하여 AI 모델을 미세 조정함으로써 일반화 능력과 안전성 향상시키기.
• 대표성 유사도 분석과 공유 분산 성분 분석(SVCA)과 같은 뇌과학 기반의 해석 가능성 도구를 적용하여 모델 내부를 분석하기.
• 대규모 신경 데이터셋을 활용하여 뇌에 영감을 받은 아키텍처를 확장하고 차원 수 및 확장성 분석하기.
• 베이지안 선형 회귀와 로그-로그 스케일링 법칙을 사용하여 신경 데이터의 차원 수가 기록 크기와 어떻게 스케일링되는지 모델링하기.

실험 결과

연구 질문

• RQ1 뇌의 구조와 학습 알고리즘이 더 안전하고 강건한 인공지능 시스템 설계에 어떻게 기여할 수 있는가?
• RQ2 신경 데이터 기반으로 AI 모델을 미세 조정할 경우, 그 일반화 능력과 안전성이 얼마나 향상되는가?
• RQ3 뇌과학 기반의 해석 가능성 방법론이 인공지능의 투명성과 일치성 향상에 기여할 수 있는가?
• RQ4 다양한 종과 기록 방식 간에 신경 데이터의 차원 수는 어떻게 스케일링되는가?
• RQ5 자유롭게 이용 가능한 신경 데이터셋은 어떻게 활용되어 더 안전한 인공지능 시스템을 훈련하고 평가하는 데 기여할 수 있는가?

주요 결과

• 다양한 종에서 신경 데이터의 차원 수는 기록된 뉴런 수에 따라 거듭제곱 법칙을 따르며, 지수 β ≈ 0.5–0.7로 부분선형적으로 증가한다.
• 공유 분산 성분 분석(SVCA)은 직교 분해 후 테스트 세트에서 설명되는 분산을 측정함으로써 신경 차원 수를 신뢰성 있게 추정할 수 있다.
• DANDI, OpenNeuro, iEEG.org 등의 레포지터리에 저장된 자유로운 신경 데이터 총량은 100,000시간 이상을 초과하며, 주로 Human Connectome Project와 UK Biobank에서 기여되었다.
• BrainScore 랭킹에서 시각 모델은 시간이 지남에 따라 뇌 기반 시각 처리와의 유사도에서 제곱법적 향상 추세를 보이며, 생물학적 시각 처리와의 일치가 가속화되고 있음을 시사한다.
• 신경 데이터 기반으로 훈련된 뇌에 영감을 받은 아키텍처는 분포 이탈에 대한 강건성이 향상되고,皮질 영역과의 표현 유사도를 통해 더 높은 해석 가능성도 확보한다.
• 전기생리학, 칼슘 이미징, fMRI 등 다양한 모달리티의 신경 데이터는 표준화되어 AI 시스템 훈련에 활용될 수 있으며, 더 안전하고 인간 유사한 인덕티브 바이어스를 제공한다.