[논문 리뷰] Sample Complexity Bounds for Recurrent Neural Networks with Application to Combinatorial Graph Problems

Nil-Jana Akpinar, Bernhard Kratzwald외 1명|arXiv (Cornell University)|2019. 01. 29.

Machine Learning and Algorithms참고 문헌 45인용 수 5

한 줄 요약

이 논문은 실수값 순환 신경망(RNN)에 대한 이론적 표본 복잡도 경계를 처음으로 확립하며, $ a $개의 ReLU 유닛과 입력 길이 $ b $를 가진 단일층 RNN이 인구 예측 오차를 $ \varepsilon $로 제한하기 위해 $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $개의 표본을 필요로 함을 보여준다. NP-난해한 간선 클리크 커버 수와 같은 조합적 그래프 문제에 적용했을 때, 이 경계는 $ \tilde{\mathcal{O}}(n^6/\varepsilon^2) $로 다항식적으로 증가하며, RNN이 이론적으로 타당하고 히ュ리스틱 솔버와도 경쟁 가능함을 시사한다.

ABSTRACT

Learning to predict solutions to real-valued combinatorial graph problems promises efficient approximations. As demonstrated based on the NP-hard edge clique cover number, recurrent neural networks (RNNs) are particularly suited for this task and can even outperform state-of-the-art heuristics. However, the theoretical framework for estimating real-valued RNNs is understood only poorly. As our primary contribution, this is the first work that upper bounds the sample complexity for learning real-valued RNNs. While such derivations have been made earlier for feed-forward and convolutional neural networks, our work presents the first such attempt for recurrent neural networks. Given a single-layer RNN with $a$ rectified linear units and input of length $b$, we show that a population prediction error of $\varepsilon$ can be realized with at most $ ilde{\mathcal{O}}(a^4b/\varepsilon^2)$ samples. We further derive comparable results for multi-layer RNNs. Accordingly, a size-adaptive RNN fed with graphs of at most $n$ vertices can be learned in $ ilde{\mathcal{O}}(n^6/\varepsilon^2)$, i.e., with only a polynomial number of samples. For combinatorial graph problems, this provides a theoretical foundation that renders RNNs competitive.

연구 동기 및 목표

• 실수값 순환 신경망(RNN)의 일반화 및 표본 복잡도에 대한 이론적 이해 부족 문제를 해결하기 위해, 널리 사용되고 있음에도 불구하고 여전히 잘 이해되지 않는 RNN의 이론적 간극을 메우는 것.
• 특히 실수값 출력을 갖는 RNN을 학습하기 위해 필요한 훈련 표본 수에 대한 명시적 상한을 도출하여 제어 가능한 예측 오차를 확보하는 것.
• 예를 들어 NP-난해한 간선 클리크 커버 수와 같은 조합적 그래프 문제에 이러한 경계를 적용하여 실용적 관련성을 입증하는 것.
• 그래프 기반 예측 작업에서의 예측 성능과 노이즈에 대한 강건성에 대해 수치 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• ReLU 활성화를 갖는 RNN의 반복적 구조에 특화된 라데마처 복잡도와 커버링 수 이론을 활용하여 일반화 경계를 유도한다.
• 입력 시퀀스 길이가 $ b $이고 $ a $개의 순환 유닛을 갖는 단일층 RNN을 분석하여 표본 복잡도 $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $를 도출한다.
• 깊이 $ d $층의 딥 RNN에 대한 분석을 확장하여, 최대 너비가 $ a_{\text{max}} $인 경우 표본 복잡도가 $ \tilde{\mathcal{O}}(d^2 a_{\text{max}}^4 b / \varepsilon^2) $임을 보여준다.
• 최대 $ n $개 정점을 갖는 그래프를 처리하는 크기 적응형 RNN에 적용하여 표본 복잡도가 $ \tilde{\mathcal{O}}(n^6 / \varepsilon^2) $로 스케일링됨을 도출한다.
• 간선 클리크 커버 수 문제에 대한 수치 실험을 통해 다양한 훈련 세트 크기와 노이즈 수준에서의 표본 외 성능을 평가한다.
• 제어된 변형과 그래프 유형 하에서 RNN 예측을 기준 히ュ리스틱(예: 켈러만 히ュ리스틱)과 다수결 투표 기반 기준과 비교한다.

실험 결과

연구 질문

• RQ1 특히 ReLU 활성화를 갖는 실수값 순환 신경망의 표본 복잡도는 무엇인가?
• RQ2 RNN에서 네트워크의 깊이, 너비, 입력 시퀀스 길이에 따라 표본 복잡도는 어떻게 스케일링되는가?
• RQ3 조합적 그래프 문제, 예를 들어 간선 클리크 커버 수에 대해 이론적 표본 복잡도 경계를 도출하고 적용할 수 있는가?
• RQ4 예측 정확도와 노이즈 레이블에 대한 강건성 측면에서 RNN의 성능은 최신 히ュ리스틱과 어떻게 비교되는가?

주요 결과

• 입력 길이 $ b $와 $ a $개의 ReLU 유닛을 갖는 단일층 RNN의 표본 복잡도는 $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $로 경계지며, 이는 인구 예측 오차를 $ \varepsilon $로 제한함을 보장한다.
• 깊이 $ d $층이고 최대 너비 $ a_{\text{max}} $인 딥 RNN의 표본 복잡도는 $ \tilde{\mathcal{O}}(d^2 a_{\text{max}}^4 b / \varepsilon^2) $로 경계지며, 이는 이론적으로 타당하다.
• 크기가 $ n $인 그래프에 적용했을 때, 크기 적응형 RNN의 표본 복잡도는 $ \tilde{\mathcal{O}}(n^6 / \varepsilon^2) $로 스케일링되며, 이는 기저 문제의 NP-난해성에도 불구하고 다항식 증가를 보임을 시사한다.
• 수치 실험 결과, RNN은 켈러만 히ュ리스틱과 다수결 투표 기준을 모두 초월하며, 충분한 훈련 데이터가 제공될 경우 특히 뛰어난 성능을 보인다.
• 레이블에 최대 10%의 상대적 노이즈가 존재하더라도 RNN은 강력한 성능을 유지하며, 두 층의 더 깊은 네트워크가 단일층 모델보다 뛰어난 성능을 보인다.
• 단지 4,000개의 훈련 샘플만으로도 만족스러운 예측 성능을 달성할 수 있으며, 이는 이론적 상한보다 훨씬 적은 수준이다.