[논문 리뷰] Optimal Hyperparameters for Deep LSTM-Networks for Sequence Labeling Tasks

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|2017. 07. 21.

Topic Modeling참고 문헌 32인용 수 264

한 줄 요약

논문은 다섯 가지 NLP 태스크에 걸친 BiLSTM-based 시퀀스 라벨링의 하이퍼파라미터를 체계적으로 분석하여 어떤 설정이 가장 중요한지 파악하고, 견고한 구성 권고를 제시한다.

ABSTRACT

Selecting optimal parameters for a neural network architecture can often make the difference between mediocre and state-of-the-art performance. However, little is published which parameters and design choices should be evaluated or selected making the correct hyperparameter optimization often a "black art that requires expert experiences" (Snoek et al., 2012). In this paper, we evaluate the importance of different network design choices and hyperparameters for five common linguistic sequence tagging tasks (POS, Chunking, NER, Entity Recognition, and Event Detection). We evaluated over 50.000 different setups and found, that some parameters, like the pre-trained word embeddings or the last layer of the network, have a large impact on the performance, while other parameters, for example the number of LSTM layers or the number of recurrent units, are of minor importance. We give a recommendation on a configuration that performs well among different tasks.

연구 동기 및 목표

• BiLSTM-based 시퀀스 라벨링 성능에 가장 큰 영향을 미치는 하이퍼파라미터와 아키텍처 확장을 식별한다.
• 다섯 가지 태스크(POS, Chunking, NER, Entities, Events) 전반에 걸친 설계 선택의 영향을 정량화한다.
• BiLSTM-CRF 모델 구성을 위한 실용적이고 태스크에 강건한 권고를 제시한다.
• 무작위 시드 및 다중 태스크 학습 설정에 대한 견고성을 평가한다.

제안 방법

• 다섯 개의 시퀀스 태깅 태스크에 대해 50,000개가 넘는 BiLSTM 네트워크 구성과 비교한다.
• BiLSTM-CRF, BiLSTM-CNN-CRF, BiLSTM-LSTM-CRF 아키텍처를 비교한다.
• 단어 임베딩, 문자 표현, 옵티마이저, 그래디언트 처리, 태깅 체계, 드롭아웃, 층 수, 유닛 수 등 하이퍼파라미터를 체계적으로 변화시킨다.
• 무작위 샘플링을 사용해 견고성을 평가하고 옵션별로 통계적 검정과 함께 비교를 제공한다.
• 서술적 통계, 바이올린 도표, 중앙값/델타 분석을 통해 결과를 보고한다.

실험 결과

연구 질문

• RQ1 일반적인 시퀀스 라벨링 태스크 전반에서 어떤 하이퍼파라미터가 가장 큰 영향을 미치는가?
• RQ2 아키텍처 확장(CRF 분류기, 문자 표현)이 일관되게 성능을 개선하는가, 그리고 어떤 조건에서 그런가?
• RQ3 도메인과 언어에 걸쳐 로버스트한 BiLSTM-based 시퀀스 태깅을 위한 실용적 구성 규칙은 무엇인가?

주요 결과

• 사전 학습된 단어 임베딩은 태스크 전반에서 일관되게 최상의 성능을 낳으며, 결과에 상당한 영향을 준다(예: POS에서 옵션 간 중앙값 차이가 약 4.97 백분율 포인트에 달함).
• 두 겹의 BiLSTM 층은 총 순환 유닛을 보통 중간 수준으로 유지할 때 일반적으로 최적의 성능을 보이며, 유닛 수 자체의 영향은 더 작다.
• Adam 계열 옵티마이저에 Nesterov 모멘텀(Nadam)을 쓰면 종종 가장 높은 성능과 빠른 수렴을 보이며, SGD는 종종 수렴하지 못한다.
• 임계값 around 1로의 그래디언트 정규화는 테스트 성능을 눈에 띄게 향상시키는 반면, 그래디언트 클리핑은 일관된 이점을 제공하지 않는다.
• 최종 계층으로의 CRF 분류기는 강한 태그 의존성이 있는 태스크에서 Softmax보다 일반적으로 더 높은 테스트 성능을 낳고, BIO 태깅이 IOB보다 우수하며 IOBES가 보편적인 이점을 제공하는 것은 아니다.
• 출력과 순환 유닛 모두에 적용된 변분 드롭아웃은 드롭아웃 없이 또는 단순 드롭아웃보다 우수하며, LSTM 네트워크당 약 100개의 순환 유닛은 실용적인 규칙으로 간주된다.
• 다중 작업 학습은 태스크가 언어적으로 비슷할 때 주로 도움이 되지만, 그렇지 않으면 단일 태스크 설정이 더 낫고, 태스크별 LSTM 층이 때때로 이득일 수 있다.