[논문 리뷰] Controlling Computation versus Quality for Neural Sequence Models

Ankur Bapna, Naveen Arivazhagan외 1명|arXiv (Cornell University)|2020. 02. 17.

Topic Modeling참고 문헌 33인용 수 13

한 줄 요약

이 논문은 학습 가능한 제어 네트워크를 사용하여 추론 시 계산을 동적으로 제어하는 조건부 계산 트랜스포머(Conditional Computation Transformer, CCT)를 제안한다. 다중 작업 학습을 통해 다양한 계산 예산을 기반으로 훈련함으로써, 전 예산에서 경쟁력 있는 성능를 달성하고 제약된 예산 하에서 기존의 기준 모델들을 뛰어넘는 성능를 보이며, 입력 복잡도와 자원 제한에 따라 효율적이고 적응적인 추론을 가능하게 한다.

ABSTRACT

Most neural networks utilize the same amount of compute for every example independent of the inherent complexity of the input. Further, methods that adapt the amount of computation to the example focus on finding a fixed inference-time computational graph per example, ignoring any external computational budgets or varying inference time limitations. In this work, we utilize conditional computation to make neural sequence models (Transformer) more efficient and computation-aware during inference. We first modify the Transformer architecture, making each set of operations conditionally executable depending on the output of a learned control network. We then train this model in a multi-task setting, where each task corresponds to a particular computation budget. This allows us to train a single model that can be controlled to operate on different points of the computation-quality trade-off curve, depending on the available computation budget at inference time. We evaluate our approach on two tasks: (i) WMT English-French Translation and (ii) Unsupervised representation learning (BERT). Our experiments demonstrate that the proposed Conditional Computation Transformer (CCT) is competitive with vanilla Transformers when allowed to utilize its full computational budget, while improving significantly over computationally equivalent baselines when operating on smaller computational budgets.

연구 동기 및 목표

• 표준 트랜스포머가 입력 복잡도나 가용 자원에 관계없이 동일한 계산을 수행하는 유연성 부족 문제를 해결하기 위해.
• 추론 시 입력의 난이도와 가용 계산 예산에 따라 각 예제에 대해 동적으로 실시간으로 계산을 조정할 수 있도록 하기 위해.
• 각 예산에 대해 재학습 없이도 여러 계산-품질 트레이드오프에서 효율적으로 작동할 수 있는 단일 모델을 훈련하기 위해.
• 연속적인 게이팅 동안의 학습과 이산적인 추론 시 결정 간 격차를 메우는 미분 가능 학습 기반을 개발하기 위해.
• 디코더 레이어를 넘어서 인코더와 어텐션 하위 네트워크까지 조건부 계산을 확장하여 적용 범위를 넓히기 위해.

제안 방법

• 각 트랜스포머 레이어에 대해 훈련 중에는 0에서 1 사이의 연속적인 값을 출력하는 제어 네트워크를 도입하며, 시그모이드 활성화 함수를 사용한 게이팅 함수를 사용한다.
• 훈련 중에는 확률적 소프트 게이팅을 적용한다: 각 레이어의 출력은 전체 계산과 잔차의 가중 평균이며, 게이팅 값이 제어한다.
• 게이팅 네트워크의 전활성화에 평균 0, 표준편차 1인 가우시안 노이즈를 적용하여 이산적 행동을 장려하고 일반화 성능를 향상시킨다.
• 추론 시에는 게이팅 값을 0.5로 임계처리한다: 게이팅 값 ≥ 0.5이면 하위 네트워크를 실행하고, 그렇지 않으면 건너뛴다.
• 각 작업이 다른 목표 계산 예산에 해당하는 다중 작업 목적 함수를 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 인코더 및 디코더 하위 네트워크 모두에 이 프레임워크를 적용하며, 자기 어텐션의 키-밸류 프로젝션까지 포함하여 계산에 대한 세밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 복잡도와 가용 예산에 따라 입력 별로 계산을 동적으로 조정할 수 있는 단일 트랜스포머 모델을 훈련할 수 있는가?
• RQ2 학습 가능한 제어 네트워크를 통한 조건부 계산이 다양한 계산 예산에서 모델 품질과 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 게이팅을 통한 미분 가능 학습을 통해 실시간 이산적 결정을 가능하게 하면서도, 여전히 추론 시 이산적 결정을 내릴 수 있는가?
• RQ4 모델은 다양한 난이도의 입력에 대해 효율적으로 계산을 할당하는 것을 학습하는가?
• RQ5 제안된 방법은 디코더 레이어를 넘어서 어텐션 프로젝션이나 인코더 레이어와 같은 다른 구성 요소에도 적용 가능한가?

주요 결과

• 조건부 계산 트랜스포머(CCT)는 전체 계산 예산이 주어졌을 때 표준 트랜스포머와 동등한 성능를 달성한다.
• 더 작은 계산 예산 하에서, WMT 영-프랑스 번역과 BERT 유사한 비지도 표현 학습 모두에서 계산량이 동일한 기준 모델들을 뛰어넘는 성능를 보인다.
• 제어 네트워크 출력 분석 결과, 더 어려운 입력에서는 더 복잡한 하위 네트워크를 활성화하는 것으로 나타나, 지능적인 계산 할당을 학습한 것으로 확인된다.
• 더 쉬운 예제에서는 불필요한 계산을 건너뛰어 추론 비용을 줄이면서도 품질 손실이 거의 없이 효과적으로 작동한다.
• 다중 작업 훈련 목적 함수 덕분에 단일 모델이 여러 계산 예산에 일반화할 수 있으며, 수요에 따라 추론이 가능해졌다.
• 시각화 결과, 키-밸류 하위 네트워크가 번역에서 구조적으로 복잡한 부분에 해당하는 토큰들에서만 선택적으로 활성화되는 것으로 나타나, 의미 있는 계산 제어가 이루어지고 있음을 보여준다.