[논문 리뷰] MuFuRU: The Multi-Function Recurrent Unit

Dirk Weissenborn, Tim Rocktäschel|arXiv (Cornell University)|2016. 06. 09.

Topic Modeling참고 문헌 17인용 수 3

한 줄 요약

MuFuRU는 입력과 이전 상태에 따라 다양한 미분 가능한 조합 연산(예: 원소별 최대값, 최소값, 절대차이 등) 중에서 선택하는 것을 학습하는 새로운 순환 신경망 유닛을 제안한다. 이는 은닉 상태를 업데이트할 때 사용하는 연산의 선택을 입력과 이전 상태에 따라 결정한다. 언어 모델링과 감성 분석 과제에서 표준 GRU보다 뛰어난 성능을 보이며, 더 작은 메모리 크기임에도 불구하고 논리적 추론 과제에서 더 나은 일반화 성능을 보인다. 과적합 없이도 성능이 뛰어나다.

ABSTRACT

Recurrent neural networks such as the GRU and LSTM found wide adoption in natural language processing and achieve state-of-the-art results for many tasks. These models are characterized by a memory state that can be written to and read from by applying gated composition operations to the current input and the previous state. However, they only cover a small subset of potentially useful compositions. We propose Multi-Function Recurrent Units (MuFuRUs) that allow for arbitrary differentiable functions as composition operations. Furthermore, MuFuRUs allow for an input- and state-dependent choice of these composition operations that is learned. Our experiments demonstrate that the additional functionality helps in different sequence modeling tasks, including the evaluation of propositional logic formulae, language modeling and sentiment analysis.

연구 동기 및 목표

• 기존 RNN, 특히 GRU와 LSTM가 고정된 조합 연산 집합(예: 게이팅된 덧셈 또는 교체)에 국한되어 있다는 한계를 해결하기 위해, 임의의 다양한 미분 가능한 함수를 조합 연산으로 사용할 수 있도록 하는 것.
• 이러한 연산들 중에서 입력과 상태에 따라 학습 가능한 선택 메커니즘을 도입함으로써, 엔드 투 엔드로 작업 데이터로부터 동적 선택을 가능하게 하여 아키텍처의 적응 가능성 향상.
• 이 유연성이 표준 RNN 유닛이 달성할 수 없는 수준의 일반화 및 성능 향상으로 이어지는지 입증하는 것.
• 소규모 메모리 크기임에도 불구하고 과적합 없이 복잡한 작업 전용 행동(예: 명제 논리 평가)을 학습할 수 있는지 검증하는 것.

제안 방법

• MuFuRU는 현재 입력 특징과 이전 은닉 상태에 대해 적용 가능한 다양한 미분 가능한 조합 연산(예: 최대값, 최소값, 절대차이, 곱셈 등)의 집합을 정의한다.
• 각 타임스텝에서, 연산 컨트롤러는 현재 입력과 이전 은닉 상태의 연결을 입력으로 사용하는 피드포워드 네트워크를 통해 가중치를 계산하며, 이는 주로 어텐션 유사 가중치를 사용한다.
• 최종 은닉 상태는 각 조합 연산의 출력에 대해 학습된 가중치를 적용한 가중합으로 계산된다.
• 연산 컨트롤러는 역전파를 통해 엔드 투 엔드로 학습되며, 이로써 각 단계에서 맥락에 따라 가장 적절한 조합 함수를 동적으로 선택할 수 있다.
• 고정된 게이팅 메커니즘 대신 학습 가능한 선택 메커니즘을 도입함으로써, 더 넓은 함수 클래스를 허용하는 방식으로 GRU와 LSTM을 일반화한다.
• 모든 RNN 프레임워크에 통합 가능하며, 아키텍처 변경 없이도 새로운 작업 전용의 미분 가능한 함수를 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 다양한 미분 가능한 조합 연산 중에서 선택하는 것을 학습하는 순환 유닛이, 표준 GRU보다 시퀀스 모델링 과제에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 입력과 상태에 따라 동적으로 연산을 선택할 수 있는 능력이, 복잡한 상태 변환을 요구하는 과제(예: 논리적 추론)에서 성능 향상에 기여하는가?
• RQ3 MuFuRU는 작은 메모리 용량으로도 명제 논리 평가에서 AND, OR, NOT 등의 논리 연산을 모방할 수 있으며, 과적합 없이 학습할 수 있는가?
• RQ4 언어 모델링과 감성 분석 과제에서, 하이퍼파rameter 조정 없이도 MuFuRU의 성능이 표준 GRU와 최신 기술 모델보다 뛰어나게 나타나는가?
• RQ5 학습된 연산 선택이 무작위 또는 중복된 기능 사용이 아니라 의미 있고 해석 가능한 행동을 반영하는가?

주요 결과

• MuFuRU는 언어 모델링 과제에서 펜 트리뱅크 데이터셋에서 테스트 퍼플렉서티 119.7을 기록했으며, GRU 기준선(123.0)을 능가했다.
• 명제 논리 평가 과제에서 MuFuRU는 11~20개의 게이트를 포함한 미리 보지 않은 공식에 대해 87.6%의 정확도를 기록했으며, 이는 8개의 은닉 유닛만으로도 가능했고, GRU는 훨씬 큰 차원이 필요했으며 과적합이 빠르게 발생했다.
• 논리 과제에서 큰 은닉 차원을 사용함에도 불구하고 MuFuRU는 과적합을 보이지 않았으며, 이는 패턴을 암기하는 것이 아니라 일반화 가능한, 기능에 특화된 전략을 학습했다는 것을 의미한다.
• 감성 트리뱅크에서의 감성 분석 과제에서 MuFuRU는 GRU 기준선을 능가했으며, 아키텍처 수정 없이도 최신 기술 성능에 가까운 결과를 도출했다.
• 연산 가중치의 시각화 결과, MuFuRU는 희박하고 맥락 의존적인 방식으로 연산을 사용했으며, 입력과 상태에 따라 맞춤형으로 행동했다. 예를 들어, 직관에 어긋나게도 OR 연산에 대해 곱셈을 집중적으로 사용하는 등 학습된 행동이 뚜렷했다.
• 다양한 조합 함수를 학습하고 적용할 수 있는 능력 덕분에 MuFuRU는 다양한 시퀀스 길이와 과제 간에서 일반화할 수 있었으며, 이는 표준 RNN 유닛보다 더 민첩하고 과제 적응형 표현을 포착할 수 있음을 시사한다.