[논문 리뷰] Learning like humans with Deep Symbolic Networks

Qunzhi Zhang, Didier Sornette|arXiv (Cornell University)|2017. 07. 11.

Neural Networks and Applications참고 문헌 6인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망의 흑박상 성질에 대비하여 투명한 백박상 대안으로서 딥 심볼릭 네트워크(Deep Symbolic Networks, DSN)를 제안한다. DSN은 물리적 물체의 군집화와 조잡화를 통해 인간과 유사한 기호와 관계를 데이터로부터 학습하는 계층적 기호적 구조로 세계를 모델링한다. 이 모델은 소규모 데이터로도 투명하고 원인관계적이며 일반화 가능한 학습을 가능하게 하며, 비지도 학습과 지식 축적을 지원한다.

ABSTRACT

We introduce the Deep Symbolic Network (DSN) model, which aims at becoming the white-box version of Deep Neural Networks (DNN). The DSN model provides a simple, universal yet powerful structure, similar to DNN, to represent any knowledge of the world, which is transparent to humans. The conjecture behind the DSN model is that any type of real world objects sharing enough common features are mapped into human brains as a symbol. Those symbols are connected by links, representing the composition, correlation, causality, or other relationships between them, forming a deep, hierarchical symbolic network structure. Powered by such a structure, the DSN model is expected to learn like humans, because of its unique characteristics. First, it is universal, using the same structure to store any knowledge. Second, it can learn symbols from the world and construct the deep symbolic networks automatically, by utilizing the fact that real world objects have been naturally separated by singularities. Third, it is symbolic, with the capacity of performing causal deduction and generalization. Fourth, the symbols and the links between them are transparent to us, and thus we will know what it has learned or not - which is the key for the security of an AI system. Fifth, its transparency enables it to learn with relatively small data. Sixth, its knowledge can be accumulated. Last but not least, it is more friendly to unsupervised learning than DNN. We present the details of the model, the algorithm powering its automatic learning ability, and describe its usefulness in different use cases. The purpose of this paper is to generate broad interest to develop it within an open source project centered on the Deep Symbolic Network (DSN) model towards the development of general AI.

연구 동기 및 목표

• 딥 신경망(DNN)의 흑박상 성질을 해결하기 위해 해석 가능하고 투명한 백박상 대안을 제안한다.
• 물리적 물체의 조잡화를 통해 인간과 유사한 기호적 인지 구조를 모델링한다.
• 원인관계 추론, 일반화 및 지식 축적을 지원하는 통합적이고 투명하며 학습 가능한 기호적 아키텍처를 통해 일반적 인공지능을 실현한다.
• 지도 학습에 특화되지 않은 학습 프레임워크를 개발하여 최소한의 레이블 데이터로도 작동하도록 한다.
• DSN 프레임워크를 기반으로 일반적 인공지능을 발전시키기 위한 오픈소스 이니셔티브를 촉진한다.

제안 방법

• DSN 모델은 각 기호 $ f_{n,i}(x) $ 가 계층 $ n $ 에서 색인 $ i $ 로 지정된 군집화된 물리적 물체를 나타내며, 도메인 $ x $ 를 가진 재귀적이고 계층적인 기호 네트워크로 지식을 표현한다.
• 기호들은 데이터 내의 특이점(singularities)을 통해 식별되며, 이는 자연스럽게 서로 다른 물체를 분리하고 사전 레이블링 없이도 기호 사전을 형성한다.
• 모델은 학습된 매개변수와 노이즈 항을 포함한 기저 함수들의 가중합으로 표현되는 생성 함수(식 2)를 사용한다.
• 비지도 학습은 노이즈 인식 클러스터링과 가장자리 흐림 처리를 통해 강건성을 향상시키며, 임계값 $ λ_i $ 와 $ μ_i $ 를 최적화하여 데이터로부터 기호를 식별함으로써 수행된다.
• 지도 학습은 목적 함수를 통한 임계값 최적화 또는 참조 문헌 [7]의 방법을 활용해 생성 모델을 직접 학습함으로써 가능해진다.
• 기호적 링크는 조합, 원인관계, 상속, 추상화와 같은 관계를 표현하며, 구조적이고 해석 가능한 지식 그래프를 형성한다.

실험 결과

연구 질문

• RQ1 특이점에 의한 자연스러운 물체 분리만으로도 원시 데이터로부터 깊이 있고 계층적인 기호적 네트워크를 구성할 수 있는가?
• RQ2 이러한 네트워크는 투명하고 해석 가능하면서도 인간과 유사한 학습, 일반화 및 원인관계 추론을 달성할 수 있는가?
• RQ3 기본 DNN과 비교해 볼 때 DSN 모델은 소규모 또는 레이블이 없는 데이터셋에서 얼마나 효과적으로 학습할 수 있는가?
• RQ4 기호 수가 소규모 하이퍼파rameter 변화에 대해 안정적인 임계값 $ λ_i $ 와 $ μ_i $ 의 영역가 존재하는가?
• RQ5 DSN 모델은 작업 간 지식 축적을 지원하고 명시적인 기호 표현을 통해 베이지안 의사결정을 가능하게 할 수 있는가?

주요 결과

• DSN 모델은 특이점과 노이즈 인식 클러스터링을 활용해 비지도 학습을 통해 MNIST 손글씨 숫자에서 기본 시각적 빌딩 블록(예: 선, 곡선, 원)을 성공적으로 식별한다.
• 임계값 $ λ_i $ 와 $ μ_i $ 의 다양한 범위에서 모델은 기호 탐지에 안정성을 보이며 하이퍼파ram터 튜닝에 대한 강건성을 입증한다.
• 가장자리 기반 기호(예: 원을 고리로 변형)의 블러 처리는 노이즈 환경에서 일치 정확도를 향상시키며, 불완전한 데이터에 대한 효과적인 대응을 시사한다.
• DSN 프레임워크는 비지도 기호 발견을 지원하며, 임계값 최적화 또는 생성 함수 직접 학습을 통해 지도 학습으로 확장 가능하다.
• 모델의 투명성 덕분에 학습된 기호와 링크를 완전히 점검할 수 있어 지식과 추론 과정의 검증이 가능하다.
• DSN 모델은 기호와 그 관계가 명시적으로 저장되고 해석 가능하므로 원인관계 추론과 지식 축적에 본질적으로 적합하다.