[논문 리뷰] Ablation of a Robot's Brain: Neural Networks Under a Knife

Peter Lillian, Richard Meyes외 1명|arXiv (Cornell University)|2018. 12. 13.

Reinforcement Learning in Robotics참고 문헌 16인용 수 11

한 줄 요약

이 논문은 생물학적으로 영감을 얻은 제거법을 도입하여 딥 강화학습 에이전트의 내부 구조를 탐구한다. 이는 인공 신경망 내에서 功能적 전문화와 내성적 저항성을 드러내며, 인간 뇌의 조직과 유사성을 보인다. 시스템적으로 뉴런 클러스터를 제거하고 출력 변화를 분석함으로써, 로봇의 정책 네트워크에서 여섯 가지 명확한 기능적 역할을 규명하였으며, 기능의 국소화와 손상에 대한 저항성을 입증하였다.

ABSTRACT

It is still not fully understood exactly how neural networks are able to solve the complex tasks that have recently pushed AI research forward. We present a novel method for determining how information is structured inside a neural network. Using ablation (a neuroscience technique for cutting away parts of a brain to determine their function), we approach several neural network architectures from a biological perspective. Through an analysis of this method's results, we examine important similarities between biological and artificial neural networks to search for the implicit knowledge locked away in the network's weights.

연구 동기 및 목표

• 인공 신경망이 생물학적 뇌와 유사한 기능적 전문화와 내성적 저항성을 보이는지 조사하기 위해.
• 신경과학 기법을 모방하는 새로운 제거법을 개발하고 적용하여 내부 네트워크 조직을 분석하기 위해.
• 딥 강화학습 정책 네트워크 내에 암묵적으로 구조화된 지식이 어떻게 배치되어 있는지 밝혀내기 위해.
• 대상 손상 하에 네트워크 행동을 실증적으로 분석함으로써 생물학적 및 인공 신경망 간의 유사성을 탐구하기 위해.

제안 방법

• DDPG 기반 강화학습 에이전트의 액터 네트워크에서 공간적으로 인접한 뉴런 클러스터를 선택적으로 제거함으로써 제거를 수행한다.
• 각 제거의 영향은 확장된 액션 공간에서 네트워크의 액션 출력 변화를 관찰함으로써 측정된다.
• 고차원 액션 공간을 두 차원으로 감소시키기 위해 주성분 분석(PCA)을 사용하여 시각화 및 클러스터링을 수행한다.
• K-means 클러스터링과 실루엣 스코어를 적용하여 제거된 뉴런 클러스터 간의 고유한 기능 그룹을 식별한다.
• 다양한 네트워크 구조에서 일관성과 일반화를 평가하기 위해 무작위 초기화를 사용한 다수의 학습 시도를 수행한다.
• 각 클러스터의 제거 후 액션 출력의 평균 방향 이동을 분석함으로써 기능 역할을 유추한다.

실험 결과

연구 질문

• RQ1 인공 신경망은 인간 뇌의 국소화된皮질 기능과 유사한 기능적 전문화를 보이는가?
• RQ2 생물학적 뇌와 유사하게 인공 신경망에서도 손상에 대한 저항성이 관찰되는가?
• RQ3 뉴런 클러스터의 제거가 훈련된 정책 네트워크 내에서 명확하고 일관된 기능 역할을 드러내는가?
• RQ4 이러한 기능 역할은 다수의 독립적으로 훈련된 네트워크 간에 일관되게 유지되는가?
• RQ5 딥 강화학습 에이전트의 가중치 내에 암묵적으로 어떻게 지식이 구조화되어 있는가?

주요 결과

• K-means 클러스터링 분석을 통해 액터 네트워크에서 여섯 가지 명확한 기능 클러스터를 식별하였으며, 실루엣 스코어 0.309는 강력한 클러스터 분리도를 나타낸다.
• 각 제거 그룹이 네트워크 출력에 일관되고 방향적인 영향을 미치는 것으로 밝혀졌다. 예를 들어 파랑 및 초록 클러스터의 제거는 액션 출력을 오른쪽으로 이동시켰다.
• 모든 단일 그룹의 제거 후에도 네트워크는 기능적 능력을 유지하였으며, 생물학적 신경계와 유사하게 손상에 대한 저항성을 보였다.
• 다양한 학습 시도 동안 기능 역할이 일관되게 재현되었으며, 이는 랜덤 초기화에도 불구하고 동일한 기능 조직이 자주 나타남을 시사한다.
• 결과는 인공 신경망이 특정 뉴런 그룹이 행동 생성에 특화된 역할을 수행하는 형태의 기능 국소화를 발달시킨다는 가설을 지지한다.
• 본 연구는 제거법이 깊이 있는 강화학습 에이전트 내에 암묵적이고 분산된 지식 구조를 효과적으로 드러낼 수 있음을 입증한다.