[논문 리뷰] Deep Equilibrium Models

Shaojie Bai, J. Zico Kolter외 1명|arXiv (Cornell University)|2019. 09. 03.

Topic Modeling인용 수 245

한 줄 요약

깊은 평형 모델(DEQ)을 도입하여 가중치-결합 비선형 변환의 고정점을 찾아 메모리 일정한 시퀀스 모델링을 가능하게 하고, 언어 모델링에서 상당한 메모리 절감을 달성하며 경쟁력 있는 성능을 보여준다.

ABSTRACT

We present a new approach to modeling sequential data: the deep equilibrium model (DEQ). Motivated by an observation that the hidden layers of many existing deep sequence models converge towards some fixed point, we propose the DEQ approach that directly finds these equilibrium points via root-finding. Such a method is equivalent to running an infinite depth (weight-tied) feedforward network, but has the notable advantage that we can analytically backpropagate through the equilibrium point using implicit differentiation. Using this approach, training and prediction in these networks require only constant memory, regardless of the effective "depth" of the network. We demonstrate how DEQs can be applied to two state-of-the-art deep sequence models: self-attention transformers and trellis networks. On large-scale language modeling tasks, such as the WikiText-103 benchmark, we show that DEQs 1) often improve performance over these state-of-the-art models (for similar parameter counts); 2) have similar computational requirements to existing models; and 3) vastly reduce memory consumption (often the bottleneck for training large sequence models), demonstrating an up-to 88% memory reduction in our experiments. The code is available at https://github.com/locuslab/deq .

연구 동기 및 목표

• 가중치-결합 변환의 평형점을 찾아 깊은 시퀀스 모델링에서 메모리 효율적인 접근법을 동기 부여한다.
• 시퀀스 수준의 고정점을 직접 해결하고 이를 통해 미분 가능한 일반적인 DEQ 프레임워크를 제안한다.
• 대규모 언어 작업에서 TrellisNet 및 가중치-결합 트랜스포머를 활용한 DEQ의 구체적 구현 사례를 시연한다.

제안 방법

• 평형 조건 z* = fθ(z*; x)를 정의하고 블랙박스 루트-찾기 방법으로 z*를 해를 구한다.
• 정리 1에 의한 암시적 미분을 사용하여 평형을 통해 역전파하고 중간 활성화 저장을 피한다.
• 전방 및 역방향 패스에서 역 야코비안의 근사치를 얻기 위해 브로이드인의 준-뉴턴 업데이트로 학습을 가속화한다.
• 범용성 제시: 여러 DEQ를 쌓아도 단일 DEQ의 표현력보다 크지 않다(정리 2).
• 주요 시퀀스 모델 계를 포괄하기 위해 TrellisNet(가중치-결합 TCN)과 메모리 확장 셀프 어텐션 트랜스포머를 사용한 DEQ를 구현한다.

실험 결과

연구 질문

• RQ1 가중치-결합 깊은 시퀀스 모델의 고정점 형식이 언어 모델링 과제에서 계층적 스택 아키텍처의 성능과 맞먹거나 이를 능가할 수 있는가?
• RQ2 평형을 통한 암시적 미분이 DEQ 모델의 상수 메모리 역전파를 가능하게 하는가?
• RQ3 TrellisNet과 트랜스포머에 대한 DEQ의 실용적 구현은 무엇이며 WikiText-103, PTB 같은 벤치마크에서 어떤 성과를 보이는가?
• RQ4 DEQ의 메모리 사용량과 학습 효율은 전통적 심층 신경망 및 그래디언트 체크포인팅과 어떻게 비교되는가?
• RQ5 여러 DEQ를 쌓는 것이 추가 표현력에 필요하거나 유리한가?

주요 결과

• DEQ는 PTB와 WikiText-103에서 비슷한 규모의 최첨단 모델에 비해 경쟁력 있거나 더 좋은 perplexity를 달성할 수 있다.
• DEQ는 학습 시 층 기반 등가물에 비해 80%가 넘는 메모리 절감을 제공하며(최대 88%), 메모리 사용 측면에서 그래디언트 체크포인팅보다 우수할 수 있다.
• 역방향 그래디언트는 암시적 고정점 형식을 통해 계산되어 상수 메모리 역전파를 가능하게 한다.
• 두 가지 구현체인 DEQ-TrellisNet 및 DEQ-Transformer은 합성곱 신경망(convnet), RNN, 트랜스포머 아키텍처와의 호환성을 보이고 유사하거나 더 적은 자원을 사용한다.
• 전방 및 역방향 패스는 준-뉴턴 방법으로 평형에 수렴하고 실행 시간은 고정 깊이 모델보다 다소 높지만 메모리 효율성은 크게 향상된다.