[논문 리뷰] Intelligible Language Modeling with Input Switched Affine Networks

Jakob Foerster, Justin Gilmer외 3명|arXiv (Cornell University)|2016. 11. 05.

Topic Modeling참고 문헌 31인용 수 8

한 줄 요약

이 논문은 비선형성을 사용하지 않고도 최신 기준에 가까운 언어 모델링 성능을 달성하는 입력 스위치된 애프린 RNN 아키텍처를 제안한다. 계산된 애프린 변환을 통해 속도와 해석 가능성도 확보한다. 이 모델은 은닉 상태 동역학의 완전한 선형 분석, 단어 경계를 넘는 컨텍스트 전달, 임의의 기저에서의 실행을 가능하게 하여 기존 RNN과 동등한 정확도를 유지하면서도 예측 불가능한 통찰력을 제공한다.

ABSTRACT

The computational mechanisms by which nonlinear recurrent neural networks (RNNs) achieve their goals remains an open question. There exist many problem domains where intelligibility of the network model is crucial for deployment. Here we introduce a recurrent architecture composed of input-switched affine transformations, in other words an RNN without any nonlinearity and with one set of weights per input. We show that this architecture achieves near identical performance to traditional architectures on language modeling of Wikipedia text, for the same number of model parameters. It can obtain this performance with the potential for computational speedup compared to existing methods, by precomputing the composed affine transformations corresponding to longer input sequences. As our architecture is affine, we are able to understand the mechanisms by which it functions using linear methods. For example, we show how the network linearly combines contributions from the past to make predictions at the current time step. We show how representations for words can be combined in order to understand how context is transferred across word boundaries. Finally, we demonstrate how the system can be executed and analyzed in arbitrary bases to aid understanding.

연구 동기 및 목표

• 비판적인 배포 환경에 적합한 높은 이해 가능성의 순환 언어 모델을 개발하기 위해.
• 비선형성을 제거하여 분석적 이해를 가능하게 하면서도 비선형 RNN과 동등한 성능를 달성하기 위해.
• 변환 조합의 사전 계산을 통해 잠재적인 계산 속도 향상을 위한 조치를 취하기 위해.
• 선형 대수 기법을 적용하여 은닉 상태 동역학을 분석할 수 있도록 하기 위해.
• 단어 경계를 넘어서 컨텍스트 전달과 표현 조합을 선형 메커니즘을 통해 설명할 수 있도록 하기 위해.

제안 방법

• 모델은 각 입력 기호가 고유한 선형 변환 행렬을 활성화하는 입력 스위치된 애프린 변환을 사용한다.
• 은닉 상태는 비선형 활성화 함수 없이 이전 상태와 입력에 특화된 애프린 매핑의 선형 조합을 통해 업데이트된다.
• 더 긴 입력 시퀀스 처리를 위해 효율성을 높이기 위해 연속된 애프린 변환의 조합을 사전에 계산한다.
• 시스템은 임의의 기저에서 실행 및 분석이 가능하여 해석 가능한 표현 분해를 지원한다.
• 은닉 상태 동역학의 기여도와 단어 표현의 조합 방식을 분석하기 위해 선형 기법을 적용한다.
• 아키텍처는 표준 RNN과 동일한 수의 파라미터를 유지하여 직접적인 성능 비교가 가능하다.

실험 결과

연구 질문

• RQ1 입력 스위치된 애프린 계층을 갖는 비선형성이 없는 RNN이 언어 모델링에서 표준 비선형 RNN과 동등한 성능를 달성할 수 있는가?
• RQ2 순수하게 선형적인 순환 아키텍처에서 단어 경계를 넘어서 컨텍스트를 어떻게 전달할 수 있는가?
• RQ3 선형 대수 기법을 얼마나 널리 적용하여 순환 네트워크의 동역학을 해석할 수 있는가?
• RQ4 애프린 변환의 조합을 사전 계산하면 추론 과정에서 계산 속도 향상이 가능한가?
• RQ5 선형 순환 모델에서 단어 간 표현 조합은 어떻게 이루어지는가?

주요 결과

• 입력 스위치된 애프린 RNN는 동일한 파라미터 수를 가진 상태에서 위키백과 언어 모델링에서 표준 RNN과 거의 동일한 성능를 기록한다.
• 선형 분석을 통해 완전한 해석 가능성을 확보하여 과거 컨텍스트가 현재 예측에 어떻게 선형적으로 조합되는지 드러낸다.
• 은닉 상태 동역학은 이전 타임스텝의 기여도와 입력에 특화된 변환의 선형 조합으로 이해할 수 있다.
• 시스템은 임의의 기저에서 표현 분석이 가능하여 단어 표현이 어떻게 조합되는지 깊이 있는 통찰을 제공한다.
• 은닉 상태 내에서 단어 표현의 선형 조합을 통해 단어 경계를 넘는 컨텍스트 전달이 이루어짐을 입증한다.
• 조합된 애프린 변환의 사전 계산은 성능 손실 없이 계산 속도 향상의 실현 가능한 길을 제공한다.