[논문 리뷰] Surprisal-Triggered Conditional Computation with Neural Networks

Loren Lugosch, Derek Nowrouzezahrai외 1명|arXiv (Cornell University)|2020. 06. 02.

Neural Networks and Applications참고 문헌 84인용 수 5

한 줄 요약

이 논문은 자동회귀 신경망을 사용해 입력의 어려움을 음의 로그우도로 측정하고, 이를 바탕으로 작은 빠른 네트워크와 큰 느린 네트워크 사이를 동적으로 전환하는 놀라움 유도 조건부 계산 프레임워크를 제안한다. 두 개의 음성 인식 작업에서 성능 저하 없이 FLOPs를 15% 감소시켰으며, 이는 놀라움이 효율적이고 적응적인 추론을 위한 효과적인 인덕티브 바이어스가 될 수 있음을 보여준다.

ABSTRACT

Autoregressive neural network models have been used successfully for sequence generation, feature extraction, and hypothesis scoring. This paper presents yet another use for these models: allocating more computation to more difficult inputs. In our model, an autoregressive model is used both to extract features and to predict observations in a stream of input observations. The surprisal of the input, measured as the negative log-likelihood of the current observation according to the autoregressive model, is used as a measure of input difficulty. This in turn determines whether a small, fast network, or a big, slow network, is used. Experiments on two speech recognition tasks show that our model can match the performance of a baseline in which the big network is always used with 15% fewer FLOPs.

연구 동기 및 목표

• 입력의 어려움에 따라 인간의 인지 모드인 시스템 1(빠르고 계산 비용 낮음)과 시스템 2(느리고 계산 비용 높음)를 모방함으로써 신경망의 계산 효율성을 향상시키는 것.
• 자기회귀 모델에서의 음의 로그우도로 측정된 놀라움이 조건부 계산을 유도하는 신뢰할 수 있고 효과적인 인덕티브 바이어스가 될 수 있는지 조사하는 것.
• 항상 큰 네트워크를 사용하거나 학습된 제어기를 사용하는 것과 비교해, 이 방법이 계산 비용과 모델 성능 사이의 더 나은 트레이드오프를 달성하는지 평가하는 것.
• 자기회귀 모델이 특징 추출과 동시에 입력의 어려움 추정에도 사용되는 이중 기능을 실현하는 것이 실제로 효과적이고 유용한지 탐색하는 것, 이는 이전에 보여지지 않은 새로운 적용 사례이다.

제안 방법

• 자기회귀 모델(예: RNN)이 입력 관측값의 스트림을 처리하면서 동시에 특징을 추출하고 다음 관측값을 예측한다.
• 각 입력의 놀라움은 자기회귀 모델 하에서 현재 관측값의 음의 로그우도로 계산되며, 이는 입력의 어려움을 대체 지표로 사용한다.
• 낮은 놀라움(쉬운 입력)에는 작은 빠른 네트워크를 사용하고, 놀라움이 학습된 임계값을 초과할 경우에만 큰 느린 네트워크를 활성화한다.
• 임계값은 검증 세트를 통해 결정되며, 강화 학습이나 학습이 어려운 제어기를 요구하지 않고도 입력 복잡도에 따라 동적으로 전환 가능하다.
• 이 방법은 딱딱한 선택 결정에 대한 부드러운 근사치를 사용해 엔드 투 엔드로 훈련되며, 전환 메커니즘을 통해 역전파가 가능하다.
• 프레임워크는 소형 및 대형 네트워크를 사용해 다양한 하이퍼파라미터를 적용한 TIMIT 및 Mini-LibriSpeech 두 가지 음성 인식 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 자기회귀 모델에서 음의 로그우도로 측정된 놀라움이 입력의 어려움을 신뢰성 있게 나타내고 조건부 계산을 이끄는 데 효과적인가?
• RQ2 어려운 입력에서만 큰 네트워크를 활성화하는 놀라움 기반 접근이 항상 큰 네트워크를 사용하는 것보다 FLOPs-성능 트레이드오프에서 더 나은가?
• RQ3 놀라움 기반 선택을 사용한 모델의 성능은 네트워크 선택을 위한 학습된 제어기를 사용한 모델과 비교해 어떻게 되는가?
• RQ4 자기회귀 모델이 특징 추출과 어려움 추정에 동시에 사용되는 것이 실제로 효과적이고 유익한가?
• RQ5 놀라움 기반 샘플링을 훈련 시 사용하면 다양한 하이퍼파라미터 설정에서 일반화 및 강건성이 향상되는가?

주요 결과

• 놀라움 기반 전환 모델은 TIMIT 데이터셋에서 항상 큰 네트워크를 사용하는 기준 모델 대비 15% 더 적은 FLOPs를 기록했으며, 성능 저하 없이 성능 유지를 하였다.
• Mini-LibriSpeech에서 모델은 FLOPs를 7.54M(항상 큰 네트워크)에서 6.43M(놀라움 기반 샘플링)로 감소시켰고, WER는 25.69%에서 25.80%로 개선되었다.
• 훈련 및 테스트 모두 놀라움 기반 샘플링을 사용한 모델는 파레토 최적의 결과를 달성했으며, 더 낮은 FLOP 비용으로 항상 큰 네트워크를 사용하는 모델를 능가하거나 동등하게 성능을 내었다.
• 학습된 제어기를 사용한 모델에 비해 높은 변동성과 하이퍼파라미터에 대한 민감도가 낮아 일반화 성능이 뛰어나고 확장이 더 쉬운 것으로 나타났다.
• 놀라움을 훈련 시 사용하지 않았더라도 테스트 시 사용한 모델는 약간의 향상(예: Mini-LibriSpeech에서 26.16% 대비 26.04% WER)을 보였으며, 이는 강건성을 시사한다.
• 제거 실험 결과, 추론 시 놀라움 기반 샘플링이 훈련 시의 것보다 더 큰 영향을 미치며, 둘 다 놀라움 기반 샘플링을 사용할 때 최고의 성능가를 달성함을 확인했다.