[논문 리뷰] Potentials and Limitations of Deep Neural Networks for Cognitive Robots

Doreen Jirak, Stefan Wermter|arXiv (Cornell University)|2018. 05. 02.

Neural Networks and Reservoir Computing참고 문헌 21인용 수 3

한 줄 요약

이 논문은 인공지능 로봇의 인지적 기능을 평가하기 위해 심층 신경망(DNNs)과 저항성 컴퓨팅(RC)을 비교 분석한다. DNNs는 시각 및 청각 분야에서 인지적 표현 능력에서 뛰어나지만, 종신적 학습, 실제 환경의 변동성에 대한 강건성, 시간적 모델링 능력에 빈도가 있다는 점에서 한계를 보인다. 저자들은 RNN의 경량이고 강건한 대안으로 RC를 제안하며, DNNs와의 조합을 통해 로봇의 인지 및 제어 능력을 향상시킬 잠재력을 강조한다.

ABSTRACT

Although Deep Neural Networks reached remarkable performance on several benchmarks and even gained scientific publicity, they are not able to address the concept of cognition as a whole. In this paper, we argue that those architectures are potentially interesting for cognitive robots regarding their perceptual representation power for audio and vision data. Then, we identify crucial settings for cognitive robotics where deep neural networks have as yet only contributed little compared to the challenges in cognitive robotics. Finally, we argue that the rather unexplored area of Reservoir Computing qualifies to be an integral part of sequential learning in this context.

연구 동기 및 목표

• 실제 환경 조건에서 인지 로봇의 인지 및 학습 능력에 있어 심층 신경망(DNNs)의 적합성을 평가하는 것.
• DNNs의 주요 한계를 특정화하는 것—대규모 레이블링 데이터셋에 의존하는 점, 분포 외 데이터(예: 어린이의 말하기)에 대한 일반화 능력 부족, 종신적 학습 및 기억 메커니즘의 결여.
• 시간적 시퀀스 학습을 위한 로봇에서의 저항성 컴퓨팅(RC)이 효과적인 대안가능성을 탐색하는 것—백프로파게이션 없이도 신속하고 강건한 학습 가능.
• RNN 학습 과제를 극복하고 스케일이 가능하며 적응 가능한 인지 시스템을 구현하기 위해 DNNs와 RC를 통합할 것을 주장하는 것.
• 신경과학, 발달 심리학, 기계 학습을 연결하는 다학제적 연구를 촉진하여 차세대 인지 로봇을 위한 기반 마련

제안 방법

• ImageNet 및 음성 데이터셋과 같은 벤치마크를 사용해 이미지 및 음성 인식과 같은 인지 작업에서 DNNs의 성능 평가.
• 실제 로봇 응용에서 지도 학습 기반 DNNs의 한계 분석—분포 이탈에 대한 민감성과 온라인 적응의 부재.
• 오픈셋 학습과 레이블 유연성을 가능하게 하는 전이 학습 및 성장 조건에 따라 네트워크 확장(GWR) 전략 제안.
• 에코 상태 네트워크(ESNs)와 액체 상태 기반 머신(LSMs)을 통한 저항성 컴퓨팅(RC) 도입—읽기 출력층만 학습하고, 저항성은 무작위로 연결되어 고정.
• 손동작 인식 및 언어 습득 작업에서 DNNs를 특징 추출에, ESNs를 시간적 모델링에 활용한 조합 사례 제시.
• DNNs의 강력한 특징 학습 능력과 RC의 효율적이고 안정적인 시퀀스 처리 능력을 접목하기 위해 DNNs와 RC를 결합하는 전략 제안—로봇 제어 및 주행에 응용.

실험 결과

연구 질문

• RQ1 심층 신경망(DNNs)은 실생활의 동적인 조건에서 인지 로봇의 인지적 표현을 얼마나 잘 지원할 수 있는가?
• RQ2 DNNs는 표준 벤치마크에서 높은 성능을 보이지만, 어린이의 말하기나 노이즈가 많은 음성과 같은 분포 외 데이터에 일반화하지 못하는 이유는 무엇인가?
• RQ3 저항성 컴퓨팅(RC)은 인지 로봇의 시퀀스 학습에서 기존 RNN보다 더 강건하고 효율적인 대안이 될 수 있는가?
• RQ4 DNNs와 저항성 컴퓨팅(RC)을 어떻게 효과적으로 조합하여 로봇에서 종신적이고 적응 가능한 학습을 가능하게 할 수 있는가?
• RQ5 발달 심리학과 신경과학의 원칙은 더 인지적으로 타당한 학습 시스템을 설계하는 데 로봇에 어떤 역할을 할 수 있는가?

주요 결과

• DNNs는 ImageNet과 같은 표준 벤치마크에서 높은 성능를 달성하지만, 어린이의 말하기나 노이즈가 많은 음성과 같은 실생활 데이터 변동성에 취약하여 대규모 레이블링 데이터셋에 의존하는 점에서 어려움을 겪는다.
• DNNs에는 온라인 학습, 기억, 지속적 적응 메커니즘이 결여되어 있어, 로봇의 종신적 발달 학습에 부적합하다.
• 저항성 컴퓨팅(RC), 특히 에코 상태 네트워크(ESNs)는 읽기 출력층만 학습함으로써 계산적으로 효율적인 RNN의 대안을 제공하며, 기울기 소실/폭발 문제를 피한다.
• DNNs를 특징 추출에, ESNs를 시간적 모델링에 활용한 조합은 손동작 인식 및 언어 습득 작업에서 뛰어난 성능를 보이며, 두 기반 기반의 상호보완적 특성을 입증한다.
• ESNs와 같은 RC 프레임워크는 로봇 주행, 이동, 언어 이해 분야에서 잠재력을 보이며, 아직 응용 범위는 제한적이고 탐색이 부족한 상태이다.
• ESNs의 '안정성의 가장자리' 개념은 혼돈 계산 이론적 가설과 성능 최적화를 통합할 수 있으며, 인지 작업에 더 효과적인 네트워크 설계를 가능하게 한다.