[논문 리뷰] Divide and Conquer with Neural Networks

Alex Nowak, Joan Bruna|arXiv (Cornell University)|2017. 04. 24.

Machine Learning and Algorithms참고 문헌 12인용 수 2

한 줄 요약

이 논문은 분할 정복 패러다임을 모방함으로써 알고리즘 작업—예를 들어 정렬과 볼록껍데기 계산—을 학습하는 가분성 있고 재귀적인 신경망 아키텍처를 제안한다. 스케일 불변성과 학습 가능한 분할 및 병합 연산자를 사용하여 동적으로 계산 그래프를 구성함으로써, 중간 단계의 오라클 스텝에 대한 접근 없이도 입력-출력 쌍만으로도 엔드 투 엔드 학습이 가능해지며, 이는 높은 정확도와 향상된 일반화 성능을 달성한다.

ABSTRACT

We consider the learning of algorithmic tasks by mere observation of input-output pairs. Rather than studying this as a black-box discrete regression problem with no assumption whatsoever on the input-output mapping, we concentrate on tasks that are amenable to the principle of divide and conquer, and study what are its implications in terms of learning. This principle creates a powerful inductive bias that we exploit with neural architectures that are defined recursively, by learning two scale-invariant atomic operators: how to split a given input into two disjoint sets, and how to merge two partially solved tasks into a larger partial solution. The scale invariance creates parameter sharing across all stages of the architecture, and the dynamic design creates architectures whose complexity can be tuned in a differentiable manner. As a result, our model is trained by backpropagation not only to minimize the errors at the output, but also to do so as efficiently as possible, by enforcing shallower computation graphs. Moreover, thanks to the scale invariance, the model can be trained only with only input/output pairs, removing the need to know oracle intermediate split and merge decisions. As it turns out, accuracy and complexity are not independent qualities, and we verify empirically that when the learnt complexity matches the underlying complexity of the task, this results in higher accuracy and better generalization in two paradigmatic problems: sorting and finding planar convex hulls.

연구 동기 및 목표

• 중간 단계의 오라클 스텝에 접근할 수 없더라도 입력-출력 쌍만으로 신경망이 알고리즘 작업을 학습할 수 있도록 하는 것.
• 분할 정복 원리를 강력한 인덕티브 바이어스로 활용하여 아키텍처 학습을 이끌고 일반화 성능을 향상시키는 것.
• 학습 중에 복잡도를 동적으로 조정할 수 있는 가분성 있고 재귀적인 신경망 아키텍처를 설계하는 것.
• 스케일 불변성을 통해 중간 단계의 분할 및 병합 결정에 대한 명시적 감독이 필요 없도록 하는 것.
• 모델 복잡도와 작업 복잡도 간의 상호작용이 학습 정확도와 일반화에 미치는 영향을 조사하는 것.

제안 방법

• 모델은 두 가지 스케일 불변성과 학습 가능한 원자 연산자—입력을 두 개의 상호 배타적인 집합으로 재귀적으로 분할하는 연산자와, 부분적으로 해결된 두 하위 문제를 하나의 큰 해답으로 병합하는 연산자—를 사용한다.
• 아키텍처는 재귀적으로 정의되며, 스케일 불변성 덕분에 모든 레벨 간에 파라미터 공유가 가능하여 다양한 입력 크기에서 효율적인 학습이 가능하다.
• 모델은 역전파를 통해 출력 오차를 최소화하면서 동시에 얕은 계산 그래프를 선호하도록 학습되어, 효율적이고 컴act한 해답을 도출한다.
• 스케일 불변성 덕분에 중간 단계의 분할 및 병합에 대한 명시적 감독이 없더라도 입력-출력 쌍만으로도 학습이 가능해진다.
• 재귀적 구조 덕분에 모델은 가분성 있는 방식으로 깊이와 복잡도를 동적으로 조정할 수 있어, 작업의 최적의 분해를 효과적으로 학습할 수 있다.

실험 결과

연구 질문

• RQ1 신경망은 중간 단계의 감독 없이 입력-출력 쌍만으로도 정렬과 볼록껍데기 계산과 같은 복잡한 알고리즘 작업을 학습할 수 있는가?
• RQ2 분할 정복 인덕티브 바이어스를 강제 적용할 경우 신경 알고리즘 학습에서 일반화 성능과 정확도는 어떻게 향상되는가?
• RQ3 모델이 학습한 복잡도와 작업의 본질적 복잡도 간의 일치가 성능에 얼마나 큰 영향을 미치는가?
• RQ4 가분성 있고 재귀적인 아키텍처는 학습 안정성과 효율성을 유지하면서도 계산 그래프의 깊이를 동적으로 조정할 수 있는가?
• RQ5 분할 및 병합 연산자의 스케일 불변성이 엔드 투 엔드 학습에서 오라클 중간 결정이 필요 없도록 하는가?

주요 결과

• 모델의 학습된 복잡도가 작업의 본질적 복잡도와 일치할 때 더 높은 정확도와 더 나은 일반화 성능을 달성한다.
• 스케일 불변성과 학습 가능한 분할 및 병합 연산자의 사용 덕분에 중간 단계의 감독 없이도 입력-출력 쌍만으로도 학습이 가능하다.
• 재귀적이고 가분성 있는 아키텍처는 역전파 과정에서 얕은 구조를 선호함으로써 효율적인 계산 그래프를 학습할 수 있도록 한다.
• 정렬 및 평면 볼록껍데기 작업에 대한 실험 결과는 복잡도와 정확도가 상호의존적임을 확인하였으며, 모델의 깊이가 작업 난이도와 일치할 때 최적의 성능을 발휘함을 보여준다.
• 동적 아키텍처 설계 덕분에 모든 단계 간에 파라미터 공유가 가능하여, 다양한 입력 크기에서 샘플 효율성과 일반화 성능이 향상된다.