[논문 리뷰] Limits of End-to-End Learning

Tobias Glasmachers|arXiv (Cornell University)|2017. 04. 26.

Neural Networks and Applications참고 문헌 26인용 수 50

한 줄 요약

이 논문은 네트워크가 더 모듈화될수록 엔드-투-엔드 학습(e2e)이 한계를 갖는다고 주장하며, e2e 훈련이 실패하거나 비효율적이 되는 실험을 보여주고, 구조화된 모듈 인식 학습이 필요한 대안으로 제시한다.

ABSTRACT

End-to-end learning refers to training a possibly complex learning system by applying gradient-based learning to the system as a whole. End-to-end learning system is specifically designed so that all modules are differentiable. In effect, not only a central learning machine, but also all "peripheral" modules like representation learning and memory formation are covered by a holistic learning process. The power of end-to-end learning has been demonstrated on many tasks, like playing a whole array of Atari video games with a single architecture. While pushing for solutions to more challenging tasks, network architectures keep growing more and more complex. In this paper we ask the question whether and to what extent end-to-end learning is a future-proof technique in the sense of scaling to complex and diverse data processing architectures. We point out potential inefficiencies, and we argue in particular that end-to-end learning does not make optimal use of the modular design of present neural networks. Our surprisingly simple experiments demonstrate these inefficiencies, up to the complete breakdown of learning.

연구 동기 및 목표

• 네트워크가 모듀럴한 복잡성으로 커질 때 엔드-투-엔드 학습의 확장성에 의문을 제기하는 동기를 설명한다.
• 모듈 간 결합이 e2e 설정에서 학습을 방해할 수 있는지 평가한다.
• 다중 모듈 시스템에서 e2e 훈련이 기하급수적으로 더 어려워지거나 실패할 수 있음을 실험으로 보여준다.
• 훈련은 네트워크 구조를 존중하고 모듈화된 계층적 훈련 접근을 고려해야 한다고 제안한다.

제안 방법

• 본 논문은 엔드-투-엔드 학습에 대한 개념적 비판을 제시하고 모듈러 네트워크에서 e2e 훈련을 스트레스테스트하는 두 가지 실험 설정을 개요로 설명한다.
• 실험 1은 작은 모듈의 확장 가능한 스태킹을 사용하여 축적된 모듈 수와 함께 훈련 난이도가 대략 기하급수적으로 증가하는 것을 보여준다.
• 실험 2는 RoboRally 유사 그리드 월드의 계획 과제를 사용하여 상호 의존성이 공동 학습을 방해하는 두 모듈 시스템을 만든다.
• 훈련 성능은 엔드-투-엔드 훈련과 모듈식, 순차적 훈련 접근 방법 간에 비교된다.
• 저자들은 계층화된 모듈을 통해 그래디언트 신호가 어떻게 전파되는지와 비자발적 모듈 간 결합이 학습을 저하시키는지를 분석한다.

실험 결과

연구 질문

• RQ1 많은 상호작용 모듈로 구성될 때 엔드-투-엔드 학습이 효율적으로 확장될 수 있는가?
• RQ2 적당히 복잡한 모듈식 아키텍처에서도 e2e 훈련이 붕괴될 수 있는가?
• RQ3 모듈을 개별적으로(또는 구조화된 순서로) 훈련하는 것이 e2e 학습의 관찰된 실패를 극복할 수 있는가?
• RQ4 크고 다중 구성 요소를 가진 학습 시스템 설계에 대한 실용적 함의는 무엇인가?

주요 결과

• 네트워크 복잡도가 커질수록 엔드-투-엔드 학습은 비효율적이 될 수 있으며, 학습 노력이 축적된 모듈 수의 지수적 증가와 함께 증가한다.
• 다중 모듈 아키텍처에서 엔드-투-엔드 학습은 완전히 실패할 수 있어 모든 모듈이 초기 가중치 근처에 남게 된다.
• 네트워크 설계와 정렬된 구조화된 순서로 모듈을 하나씩 또는 순차적으로 훈련하면 e2e 학습에서 관찰되는 붕괴를 피하거나 완화할 수 있다.
• 다른 모듈이 이미 학습되어 고정된 상태일 때 작고 잘 정의된 모듈도 안정적으로 학습한다는 점은 분해된 훈련 전략의 이점을 강조한다.
• 결정론적 환경에서의 계획 기반 두 모듈 시스템은 모듈 간의 상호 의존성을 보여주며, 계단식 훈련 없이 공동 학습을 방지할 수 있다.