[논문 리뷰] Universal Approximation of Input-Output Maps by Temporal Convolutional Nets

Joshua Hanson, Maxim Raginsky|arXiv (Cornell University)|2019. 06. 21.

Embedded Systems Design Techniques인용 수 3

한 줄 요약

이 논문은 유한한 메모리와 함께 넓은 범위의 입력-출력 맵을 임의의 정밀도로 보편적으로 근사할 수 있음을 증명한다. 깊이가 나선형인 ReLU TCN의 경우 네트워크 폭, 깊이 및 목표 맵의 연속성 모듈러스를 기반으로 정량적 근사 속도를 확립하며, 장기 의존성이 제한된 시스템에서 순환 네트워크와의 이론적 동등성을 확장한다.

ABSTRACT

There has been a recent shift in sequence-to-sequence modeling from recurrent network architectures to convolutional network architectures due to computational advantages in training and operation while still achieving competitive performance. For systems having limited long-term temporal dependencies, the approximation capability of recurrent networks is essentially equivalent to that of temporal convolutional nets (TCNs). We prove that TCNs can approximate a large class of input-output maps having approximately finite memory to arbitrary error tolerance. Furthermore, we derive quantitative approximation rates for deep ReLU TCNs in terms of the width and depth of the network and modulus of continuity of the original input-output map, and apply these results to input-output maps of systems that admit finite-dimensional state-space realizations (i.e., recurrent models).

연구 동기 및 목표

• 유한한 메모리가 있는 입력-출력 맵에 대해 Temporal Convolutional Networks (TCNs)의 보편적 근사 능력을 확립하는 것.
• 네트워크 폭과 깊이 기반으로 깊이가 나선형인 ReLU TCN의 정량적 근사 오차 한계를 유도하는 것.
• 유한한 장기 시간 의존성과 함께 맵을 근사하는 데서 TCN과 순환 네트워크 간의 이론적 동등성을 보여주는 것.
• 유한 차원 상태공간 표현에서 유래한 맵의 근사 속도를 분석하는 것.

제안 방법

• 장기적 의존성을 모델링하기 위해 확장된 인과 컨벌루션을 사용하는 잔차 블록을 활용한 TCN의 이론적 분석.
• 유한한 메모리가 있는 입력-출력 맵의 클래스에 대해 보편적 근사를 증명하기 위한 기능 분석 기법의 적용.
• 목표 맵의 연속성 모듈러스와 네트워크 깊이/폭에 기반한 근사 오차 한계 유도.
• 표현력과 깊은 아키텍처의 분석 용이성을 위해 ReLU 활성화 함수의 사용.
• 함수 공간 임bedding 및 노름 공간의 관점에서 근사 문제의 공식화.
• 유한한 메모리 제약 조건 하에서 TCN의 근사 성능을 순환 네트워크와 이론적으로 비교하는 것.

실험 결과

연구 질문

• RQ1 TCN은 유한한 메모리가 있는 넓은 범위의 입력-출력 맵을 임의의 정밀도로 보편적으로 근사할 수 있는가?
• RQ2 깊이가 나선형인 ReLU TCN의 정량적 근사 속도는 네트워크 폭과 깊이 기반으로 어떻게 되는가?
• RQ3 유한한 장기 의존성과 함께 시스템을 근사할 때 TCN의 근사 성질은 순환 네트워크와 어떻게 비교되는가?
• RQ4 TCN은 얼마나 깊이까지 유한 차원 상태공간 모델에서 유래한 맵을 근사할 수 있는가?
• RQ5 입력-출력 맵의 연속성 모듈러스는 주어진 근사 허용 오차를 확보하기 위해 필요한 네트워크 용량에 어떻게 영향을 미치는가?

주요 결과

• TCN은 유한한 메모리가 있는 어떤 입력-출력 맵이라도 임의의 오차 허용 범위 내에서 보편적으로 근사할 수 있다.
• 근사 오차는 네트워크 깊이와 폭의 함수로 감소하며, 목표 맵의 연속성 모듈러스에 명시적인 의존성을 가진다.
• 호일더 연속성 정규성을 가진 맵의 경우 깊이와 폭이 증가함에 따라 근사 속도가 향상되어 다항 수렴 속도를 달성한다.
• 유한한 장기 시간 의존성과 함께 시스템을 근사할 때 TCN의 이론적 근사 능력은 순환 네트워크와 동일하다.
• 결과는 TCN이 장기 의존성이 약한 환경에서 순서-순서 모델링에서 경험적으로 성공한 데 대한 공식적 근거를 제공한다.
• 이 프레임워크는 순환 신경망과 같은 유한 차원 상태공간 표현에서 유래한 입력-출력 맵에 직접 적용 가능하다.