[논문 리뷰] Solutions to problems with deep learning

J. Gerard Wolff|arXiv (Cornell University)|2018. 01. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 7

한 줄 요약

이 논문은 딥 러닝의 핵심적 한계—예측 자료의 과다 소비, 투명성 부족, 치명적인 기억 상실, 열악한 추론 능력—을 해결하기 위해 지능의 SP(구조-패턴) 이론을 제안한다. SP-다중일치를 활용함으로써 SP 시스템은 한 번의 시도 학습, 계층적 및 비계층적 지식 표현, 강력한 추론 및 감사 가능성 기능을 제공한다. 이는 이론적으로 탄탄하고 인간의 인지 구조를 모방한 대안으로, 인공 일반 지능을 위한 더 탄탄한 기반을 제공한다.

ABSTRACT

Despite the several successes of deep learning systems, there are concerns about their limitations, discussed most recently by Gary Marcus. This paper discusses Marcus's concerns and some others, together with solutions to several of these problems provided by the "P theory of intelligence" and its realisation in the "SP computer model". The main advantages of the SP system are: relatively small requirements for data and the ability to learn from a single experience; the ability to model both hierarchical and non-hierarchical structures; strengths in several kinds of reasoning, including `commonsense' reasoning; transparency in the representation of knowledge, and the provision of an audit trail for all processing; the likelihood that the SP system could not be fooled into bizarre or eccentric recognition of stimuli, as deep learning systems can be; the SP system provides a robust solution to the problem of `catastrophic forgetting' in deep learning systems; the SP system provides a theoretically-coherent solution to the problems of correcting over- and under-generalisations in learning, and learning correct structures despite errors in data; unlike most research on deep learning, the SP programme of research draws extensively on research on human learning, perception, and cognition; and the SP programme of research has an overarching theory, supported by evidence, something that is largely missing from research on deep learning. In general, the SP system provides a much firmer foundation than deep learning for the development of artificial general intelligence.

연구 동기 및 목표

• 딥 러닝의 치명적인 한계를 해결한다: 과도한 자료 요구, 투명성 부족, 치명적인 기억 상실에 대한 취약성.
• 딥 러닝의 아키텍처 제약에 비해 계층적 및 비계층적 지식 표현을 모두 지원하는 통합 프레임워크를 제공한다.
• 지식 표현을 이론적으로 일관된 구조에 기반시켜 강력하고 해석 가능한 추론—공동체적 추론 포함—을 가능하게 한다.
• SP-다중일치를 통한 정보 압축 이론을 기반으로 상징적 및 비상징적 AI를 통합함으로써 상징적과 비상징적 지능의 다리를 놓는다.
• 딥 러닝의 일시적이고 수학 중심의 접근 방식과는 달리, 경험적이고 인지적으로 기반을 둔 인공 일반 지능(AGI)의 기반을 마련한다.

제안 방법

• 다양한 패턴을 압축하고 통합하기 위해 핵심 메커니즘으로 SP-다중일치를 활용하여 복잡한 구조의 효율적 학습 및 표현을 가능하게 한다.
• SP 컴퓨터 모델을 구현하여 최소한의 자료로 인간과 유사한 학습—예: 한 번의 노출 학습, 점진적 기술 습득—을 시뮬레이션한다.
• SP 시스템의 투명한 지식 표현과 감사 기록을 통해 모든 처리 단계의 해석 가능성과 추적 가능성을 확보한다.
• 인지심리학 및 신경과학 원리를 활용하여 추상적 지식 구조가 어떻게 신경적 구현으로 매핑될 수 있는지 모델링한다.
• 딥 러닝의 히우리스틱적 또는 일시적인 조정이 아닌, SP 이론에 뿌리를 둔 이론적으로 일관된 메커니즘을 통해 과도한 일반화 및 일반화 부족을 수정한다.
• 통계적 상관관계가 아닌 구조적 일관성과 패턴 일치에 기반하여 악성 공격에 대한 오분류에 강건한 저항력을 보인다.

실험 결과

연구 질문

• RQ1 인공지능 시스템은 수천 개의 예제가 아닌, 한 번의 노출만으로 효과적으로 학습할 수 있는가?
• RQ2 인지 아키텍처는 통합 프레임워크 내에서 계층적 및 비계층적 지식 구조를 어느 정도 지원할 수 있는가?
• RQ3 새로운 정보를 학습하면서도 이전에 습득한 지식을 유지할 수 있는가? 치명적인 기억 상실을 피할 수 있는가?
• RQ4 통계적 패턴 외에 의존하지 않고도 강력하고 해석 가능한 추론—공동체적 추론 포함—을 달성할 수 있는가?
• RQ5 학습, 인지, 지각을 통합하는 하나의 경험적으로 검증된 이론적 원리에 기반한 인지 모델을 구축할 수 있는가?

주요 결과

• SP 시스템은 딥 러닝의 자료 과다 소비 성향과는 달리, 단 한 번의 노출 또는 소수의 예시로도 의미 있는 학습을 가능하게 하며, 인간의 한 번의 시도 학습과 유사하게 작동한다.
• SP 시스템은 SP-다중일치 메커니즘을 통해 계층적 및 비계층적 구조를 성공적으로 표현하여, 딥 뉴럴 네트워크의 핵심적 한계를 극복한다.
• SP 시스템은 지식 표현과 처리의 완전한 투명성과 완전한 감사 기록을 제공하여, 딥 러닝 모델의 흑박상자 성격과는 뚜렷이 구별된다.
• SP 시스템은 구조적 일치 메커니즘 덕분에 악성 공격에 대한 오분류에 매우 강건하며, 딥 러닝에서 흔히 발생하는 이상하거나 비정상적인 인식 오류를 방지한다.
• SP 시스템은 새로운 학습이 기존 지식을 덮어쓰거나 파괴하지 않기 때문에 치명적인 기억 상실을 피한다. 이로써 이전에 습득한 정보가 유지된다.
• SP 시스템은 핵심 압축 원리에 기반한 이론적으로 일관된 방법으로 과도한 일반화 및 일반화 부족을 수정하고, 노이즈가 많거나 잘못된 데이터로부터의 학습을 가능하게 한다.