[논문 리뷰] An Empirical Exploration of Skip Connections for Sequential Tagging

Huijia Wu, Jiajun Zhang외 1명|arXiv (Cornell University)|2016. 10. 11.

Topic Modeling참고 문헌 30인용 수 9

한 줄 요약

이 논문은 순차 태깅을 위한 깊이 있는 스택형 양방향 LSTM에 게이트가 있는 신뢰도 스킵 커넥션을 세포 출력에 도입함으로써, 게이트나 내부 상태에 스킵 커넥션을 적용하는 것보다 더 우수한 성능을 보임을 보여줌. 이 방법은 CCG 슈퍼태깅에서 최고 성능(94.67% 테스트 정확도)을 달성하고, POS 태깅에서도 경쟁력 있는 성능(97.45%)을 보이며, 최적의 깊이가 7~9층임을 확인함.

ABSTRACT

In this paper, we empirically explore the effects of various kinds of skip connections in stacked bidirectional LSTMs for sequential tagging. We investigate three kinds of skip connections connecting to LSTM cells: (a) skip connections to the gates, (b) skip connections to the internal states and (c) skip connections to the cell outputs. We present comprehensive experiments showing that skip connections to cell outputs outperform the remaining two. Furthermore, we observe that using gated identity functions as skip mappings works pretty well. Based on this novel skip connections, we successfully train deep stacked bidirectional LSTM models and obtain state-of-the-art results on CCG supertagging and comparable results on POS tagging.

연구 동기 및 목표

• 깊이 있는 스택형 양방향 LSTMs에서 순차 태깅 작업에 대해 다양한 스킵 커넥션 유형의 영향을 조사하는 것.
• 스택형 LSTM 레이어 내에서 스킵 커넥션의 최적의 위치—게이트, 내부 상태, 세포 출력 중 어디에 둘 것인지 결정하는 것.
• 다양한 스킵 매핑 함수, 즉 신뢰도, 시그모이드, 게이트가 있는 신뢰도 매핑 함수의 효과를 평가하는 것.
• 특히 깊이와 스킵 커넥션 설계 측면에서 최고의 성능을 내는 아키텍처 구성 요건을 규명하는 것.
• 제안된 아키텍처가 CCG 슈퍼태깅 및 POS 태깅과 같은 다양한 순차 태깅 작업에 일반화되는지 입증하는 것.

제안 방법

• 네트워크의 낮은 레이어에서 높은 레이어로의 출력에서 스킵 커넥션을 추가한 스택형 양방향 LSTMs를 사용함.
• 세 가지 유형의 스킵 커넥션을 탐색함: 입력 게이트에, 내부 세포 상태에, 세포 출력에.
• 스킵 매핑으로 게이트가 있는 신뢰도 함수를 도입함. 여기서 스킵 커넥션은 학습 가능한 시그모이드 게이트에 의해 조절됨: $ g_t = \sigma(W_g h_{t-1}^{l} + U_g h_t^{l-2}) $.
• 특히 최고 성능을 내는 구성에서 성능 향상을 위해 忽略 게이트 바이어스를 0으로 설정함.
• CCG 슈퍼태깅 및 POS 태깅 작업 모두에 동일한 모델 아키텍처와 하이퍼파라미터를 적용하며 재튜닝 없이 사용함.
• 단어 및 문자 임베딩을 입력 특징으로 사용하며, 이를 결합하여 깊이 있는 LSTM 네트워크에 입력함.

실험 결과

연구 질문

• RQ1 스택형 양방향 LSTMs에서 LSTM 블록의 어떤 위치—게이트, 내부 상태, 세포 출력—가 스킵 커넥션을 가장 잘 활용하는가?
• RQ2 다양한 스킵 매핑 함수(신뢰도, 시그모이드, 게이트가 있는 신뢰도)가 깊이 있는 순차 태깅에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 성능과 학습 안정성 측면에서 스킵 커넥션이 있는 스택형 양방향 LSTMs의 최적의 깊이는 무엇인가?
• RQ4 동일한 아키텍처와 공통 하이퍼파라미터로 여러 순차 태깅 작업에서 최고 성능을 달성할 수 있는가?
• RQ5 기본 스킵 커넥션 또는 스킵 커넥션 없이 비교했을 때, 게이트가 있는 신뢰도 스킵 커넥션은 학습 및 일반화에 더 나은 성능을 보이는가?

주요 결과

• 게이트가 있는 신뢰도 매핑을 사용한 세포 출력에 대한 스킵 커넥션은 CCGbank 슈퍼태깅 데이터셋에서 가장 높은 테스트 정확도 94.67%를 달성함.
• 게이트 없이 내부 상태에 스킵 커넥션을 적용한 경우(개발 정확도 94.33%)는 게이트가 있는 경우(94.24%)보다 성능이 뛰어나, 내부 상태 루팅에 대해 게이트 없는 연결이 더 효과적일 수 있음을 시사함.
• 게이트가 있는 신뢰도 함수(바이어스 $ b_f = 0 $)는 개선된 성능을 보이며, CCGbank에서 개발 정확도 94.51%, 테스트 정확도 94.67%를 기록함.
• 게이트 없이 신뢰도 매핑을 사용한 경우(94.02%)는 게이트가 있는 버전보다 성능이 열 劣하므로, 최적 성능을 내기 위해 학습 가능한 게이트가 필수적임을 시사함.
• 동일한 아키텍처를 사용해 POS 태깅에서 97.45%의 테스트 정확도를 달성함. 이는 CCG 슈퍼태깅에서 최고 성능을 내는 데 사용된 아키텍처가 태스크 특화 튜닝 없이도 강력한 일반화 성능을 보임을 보여줌.
• 스택형 모델의 최적 깊이는 7~9층으로 확인됨. 11층에 이르면 성능이 저하되어 깊이와 학습 안정성 사이의 상충 관계가 있음을 시사함.