[논문 리뷰] What Really is Deep Learning Doing?

Chuyu Xiong|arXiv (Cornell University)|2017. 11. 06.

Neural Networks and Applications참고 문헌 4인용 수 3

한 줄 요약

이 논문은 딥러닝이 고차원적 매개변수 공간에 계층적 X-형식—패턴의 대수적 표현—을 통합함으로써 기계적 학습으로 기능한다고 제안한다. 학습 기계와 내부 표현 공간의 관점에서 딥러닝을 재구성함으로써, 저자들은 이것이 목표 X-형식이 모델 아키텍처에 사전 포함되어 있을 경우에만 성공하지만, 간접적 학습 동역학, 고정된 구조, 높은 데이터 비용으로 인해 근본적으로 제한됨을 보여준다.

ABSTRACT

Deep learning has achieved a great success in many areas, from computer vision to natural language processing, to game playing, and much more. Yet, what deep learning is really doing is still an open question. There are a lot of works in this direction. For example, [5] tried to explain deep learning by group renormalization, and [6] tried to explain deep learning from the view of functional approximation. In order to address this very crucial question, here we see deep learning from perspective of mechanical learning and learning machine (see [1], [2]). From this particular angle, we can see deep learning much better and answer with confidence: What deep learning is really doing? why it works well, how it works, and how much data is necessary for learning. We also will discuss advantages and disadvantages of deep learning at the end of this work.

연구 동기 및 목표

• 딥러닝이 실제로 무엇을 하는지에 대한 근본적인 질문을 기계적 학습과 학습 기계 이론의 관점에서 재구성함으로써 해결하기 위해.
• 완전한 이론적 기반 없이도 실무에서 잘 작동하는 이유를 설명하기 위해.
• X-형식을 지원하고 경계짓는 데 필요한 데이터의 충분성을 정의함으로써 딥러닝에서 데이터의 역할을 명확히 하기 위해.
• 고정된 아키텍처와 간접적 학습 동역학으로 인해 발생하는 딥러닝의 내재적 한계를 규명하기 위해.
• 현재의 딥러닝 모델보다 우월한 보편적 학습 기계를 제안하기 위해.

제안 방법

• 고정된 규칙를 사용해 데이터에 기반해 행동을 수정하는 시스템으로서 '기계적 학습'을 도입하여 표준 CPU와 구분한다.
• 기본 패턴에서 구성된 대수적 표현으로서의 'X-형식'을 정의하며, 이는 학습 기계 내 지식의 핵심 표현이다.
• 내부 표현 공간(일반적으로 X-형식의 집합과 동치)을 사용해 표현 간의 동적 과정으로서의 학습을 모델링한다.
• 세 가지 학습 전략을 적용한다: 매개변수 공간에 X-형식을 통합하고, 내부/외부에서 X-형식을 더 높은 추상화로 압축하는 방식.
• 딥러닝이 첫 번째 전략—큰 매개변수 공간에 X-형식을 통합함—을 구현함으로써 기계적 학습의 한 형태임을 보여준다.
• 데이터 충분성 개념을 적용해 특정 X-형식을 학습하기 위한 최소한의 데이터 요구량을 결정한다. 특히 딥 모델의 경우에 중점을 둔다.

실험 결과

연구 질문

• RQ1 기계적 학습과 학습 기계 이론의 관점에서 딥러닝의 진정한 본질은 무엇인가?
• RQ2 딥러닝은 실무에서 왜 성공하는가? 이러한 성공을 위한 필수 조건은 무엇인가?
• RQ3 딥러닝 모델을 효과적으로 훈련시키기 위해 실제로 얼마나 많은 데이터가 필요한가?
• RQ4 고정된 아키텍처와 동역학적 제약으로 인해 발생하는 딥러닝의 근본적 한계는 무엇인가?
• RQ5 현재의 딥러닝 프레임워크의 단점을 극복할 수 있는 보편적 학습 기계를 구축할 수 있는가?

주요 결과

• 딥러닝은 고차원 매개변수 공간에 X-형식을 통합함으로써 기계적 학습으로 기능하며, 이는 학습 기계의 특수한 형태이다.
• 딥러닝의 성공은 초기 모델 아키텍처, 특히 목표 X-형식의 사전 선택에 따라 결정되며, 가능한 표현 집합에 그 X-형식이 포함되어 있지 않다면 학습은 성공할 수 없다.
• 딥러닝이 큰 매개변수 공간에 의존함으로써 비효율적인 학습 동역학이 발생하며, 대부분의 계산 자원이 비핵심 작업에 낭비된다.
• 데이터 충분성은 학습을 위한 필수 조건이다: 데이터는 목표 X-형식을 지지하고 경계지어야 하며, 이는 '대규모 데이터'가 필요한 이유를 설명한다.
• 딥러닝은 아키텍처가 고정되어 있어 최적의 표현을 적응적으로 탐색할 수 없기 때문에 보편적 학습 기계가 아니다.
• 명확한 내부 표현 공간이 부족함으로써 고급 학습 통합(예: 논리, 확률적, 진화적 방법의 통합)이 어려워지고, 이는 해석 가능성과 효율성의 제한을 초래한다.