[논문 리뷰] Alternative structures for character-level RNNs

Piotr Bojanowski, Armand Joulin외 1명|arXiv (Cornell University)|2015. 11. 19.

Natural Language Processing Techniques참고 문헌 20인용 수 39

한 줄 요약

이 논문은 효율성과 성능을 햖스히기 위해 문자 수준 RNN에 두 가지 새로운 아키텍처 수정을 제안한다: (1) 이전 단어 표현에 따라 문자 수준 표현을 조건화하는 것, (2) 최근 문자 기록에 따라 출력 소프트맥스를 조건화하는 것. 두 방법 모두 상당히 감소된 계산 비용으로 대규모 문자 수준 RNN과 유사한 성능을 달성하며, 특히 핀란드어나 헝가리어와 같은 형태적 구조가 풍부한 언어에서 뛰어난 성능을 보인다.

ABSTRACT

Recurrent neural networks are convenient and efficient models for language modeling. However, when applied on the level of characters instead of words, they suffer from several problems. In order to successfully model long-term dependencies, the hidden representation needs to be large. This in turn implies higher computational costs, which can become prohibitive in practice. We propose two alternative structural modifications to the classical RNN model. The first one consists on conditioning the character level representation on the previous word representation. The other one uses the character history to condition the output probability. We evaluate the performance of the two proposed modifications on challenging, multi-lingual real world data.

연구 동기 및 목표

• 특히 어휘가 크거나 형태학적 복잡성이 높은 언어에서 높은 계산 비용과 성능 한계를 가지는 표준 문자 수준 RNN의 문제를 해결한다.
• 문자 수준 RNN에서 완전 연결 히든 레이어의 비효율성을 해결하기 위해, 히든 레이어 크기를 늘리지 않고도 모델 용량을 증가시킬 수 있는 구조적 수정을 도입한다.
• 단어 수준 모델에서 흔히 발생하는 OoV(Out-of-Vocabulary) 단어 문제를 줄이기 위해 문자 수준 RNN을 활용해 서브워드 수준 표현을 활용한다.
• 희귀 또는 알려지지 않은 단어를 다루기 위한 서브워드 유닛이나 워드 임베딩의 더 효율적이고 확장 가능한 대안을 개발한다.
• 분리된 파ip라인 없이도 철자 수정과 언어 모델링을 종합적으로 학습할 수 있도록 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 이전 단어의 히든 상태에 따라 문자 표현을 조건화하는 하이브리드 모델을 제안한다. 이는 문자 수준 RNN과 단어 수준 RNN을 결합한 모델이다.
• 최근 문자 기록(예: N개 이전 문자)에 따라 소프트맥스 출력 레이어를 조건화하는 조건부 출력 메커니즘을 도입함으로써, 히든 레이어 크기를 늘리지 않아도 모델 용량을 효과적으로 증가시킨다.
• 고정된 크기의 이전 문자 컨텍스트 윈도우를 사용하여 출력 확률 분포를 조건화함으로써, 장거리 의존성을 더 효율적으로 학습할 수 있도록 한다.
• 교차 엔트로피 손실을 사용하여 다국어 실생활 데이터에서 엔드 투 엔드로 모델을 훈련한다.
• 소형 및 대형 모델 설정을 사용하여, 제안된 모델을 히든 레이어 크기가 200과 500인 표준 문자 수준 RNN과 비교한다.
• 성능과 계산 비용의 균형을 맞추기 위해 검증 세트에서 조건부 모델의 이력 단계 수(N)를 최적화한다.

실험 결과

연구 질문

• RQ1 표준 문자 수준 RNN과 비교해 볼 때, 문자 수준 RNN을 단어 표현에 따라 조건화하는 것이 성능 향상과 계산 비용 절감에 기여하는가?
• RQ2 최근 문자 기록에 따라 출력 소프트맥스를 조건화하는 것이, 히든 레이어 크기나 계산 복잡도를 늘리지 않아도 모델 용량을 증가시킬 수 있는가?
• RQ3 제안된 모델은 핀란드어나 헝가리어처럼 OoV 비율이 높은 저자원 및 형태적 복잡성이 높은 언어에서 어떻게 성능을 내는가?
• RQ4 이러한 아키텍처 수정이 문자 수준 RNN과 단어 수준 RNN 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 이러한 모델은 별도의 철자 검사 또는 정규화 모듈 없이도 OoV 단어와 철자 오류를 효과적으로 다룰 수 있는가?

주요 결과

• 혼합 모델(문자 + 단어 표현)과 조건부 모델(이력 조건부 출력)은 평균적으로 1.36 비트 매 문자(BPC)의 문자 수준 엔트로피를 달성하여, 500단위 히든 레이어를 가진 대규모 문자 수준 RNN과 동일한 성능을 보였다.
• 조건부 모델은 핀란드어와 헝가리어와 같이 형태학적 복잡성이 높은 언어에서 모든 기준 모델을 능가했으며, 각각 BPC 1.38과 1.36을 기록했고, 500단위 히든 레이어를 가진 표준 CRNN의 1.43과 1.42보다 우수했다.
• 제안된 모델들은 큰 히든 레이어를 피하기 때문에 계산 비용을 줄였고, 동시에 더 큰 표준 RNN 모델과 유사한 성능을 유지했다.
• 평균적으로 조건부 모델은 히든 레이어 크기가 200인 표준 문자 수준 RNN보다 BPC에서 12% 향상되었으며, 오류는 1.61에서 1.36 BPC로 감소했다.
• 저자원 및 복합 형태어 언어에서 OoV 비율(OOVR)이 크게 감소했으며, 표준 CRNN의 핀란드어 기준 6.91%에서 조건부 모델에서는 1.38%로 감소했다.
• 결과적으로 아키텍처 혁신이, 특히 맥락 인식 조건부 메커니즘과 결합할 경우, 문자 수준 RNN과 단어 수준 RNN 간의 성능 격차를 메울 수 있음을 시사한다.