[논문 리뷰] On the State of the Art of Evaluation in Neural Language Models

Gábor Melis, Chris Dyer외 1명|arXiv (Cornell University)|2017. 07. 18.

Topic Modeling참고 문헌 18인용 수 47

한 줄 요약

이 논문은 대규모 블랙박스 하이퍼파라미터 튜닝을 사용하여 신경망 언어 모델 아키텍처를 재평가하며, 적절한 정규화를 적용한 표준 LSTMs가 RNN 및 NAS와 같은 더 최근의 모델보다 우수한 성능을 보임을 입증한다. 이는 펜 트리뱅크와 위키텍스트-2에서 새로운 최고 성능을 달성한다. 연구는 하이퍼파라미터 조절이 모델 평가에 미치는 결정적인 영향을 강조하며, 딥러닝 연구에서 더 엄격한 실험 기준이 필요하다고 주장한다.

ABSTRACT

Ongoing innovations in recurrent neural network architectures have provided a steady influx of apparently state-of-the-art results on language modelling benchmarks. However, these have been evaluated using differing code bases and limited computational resources, which represent uncontrolled sources of experimental variation. We reevaluate several popular architectures and regularisation methods with large-scale automatic black-box hyperparameter tuning and arrive at the somewhat surprising conclusion that standard LSTM architectures, when properly regularised, outperform more recent models. We establish a new state of the art on the Penn Treebank and Wikitext-2 corpora, as well as strong baselines on the Hutter Prize dataset.

연구 동기 및 목표

• 모델 평가에서 통제되지 않은 하이퍼파라미터 변동으로 인한 복제 실패 위험 증가 문제를 해결하기 위해.
• 제어된 대규모 하이퍼파라미터 튜닝 하에서 인기 있는 순환 아키텍처인 LSTM, RHN, NAS의 진정한 성능을 비교하기 위해.
• 펜 트리뱅크와 위키텍스트-2와 같은 표준 벤치마크에서 언어 모델링을 위한 신뢰할 수 있고 재현 가능한 최고 성능 기준을 설정하기 위해.
• 하이퍼파라미터 민감도와 열악한 실험 제어 조건이 모델 우월성에 대한 잘못된 주장으로 이어질 수 있음을 입증하기 위해.
• 하이퍼파라미터 민감도 감소 및 표준화된 계산 예산을 포함한 딥러닝 평가의 방법론적 개선을 촉구하기 위해.

제안 방법

• 베이지안 최적화를 사용한 블랙박스 하이퍼파라미터 최적화를 통해 여러 모델 아키텍처에서 6개의 핵심 하이퍼파라미터를 튜닝한다.
• 일반화 성능 향상을 위해 변동형 드롭아웃과 순환 드롭아웃을 사용하며, 시간 단위 간 공유 마스크를 적용한다.
• 과적합을 제어하기 위해 입력, 계층 내부, 출력 드롭아웃을 각각 시간 단위별로 독립적인 무작위 마스크를 사용해 적용한다.
• LSTM에서 묶인(gate) 및 풀린(gate) 변형을 도입하여 아키텍처 선택에 대한 민감도를 평가한다.
• 파라미터 수를 줄이면서도 성능를 유지하기 위해 다운프로젝션과 공유 임베딩을 구현한다.
• 다양한 모델 크기와 구성에서 광범위한 아블레이션 연구를 수행하여 결과의 탄력성과 신뢰성을 검증한다.

실험 결과

연구 질문

• RQ1 RHN 및 NAS와 같은 더 최근의 모델들이 하이퍼파라미터를 체계적으로 튜닝했을 때 보고된 최고 성능이 유지되는가?
• RQ2 적절히 정규화하고 튜닝된 표준 LSTMs가 더 복잡한 아키텍처보다 뛰어난 성능을 낼 수 있는가?
• RQ3 모델 성능은 하이퍼파라미터 선택에 얼마나 민감한가? 이 민감도는 정량화할 수 있는가?
• RQ4 하이퍼파라미터 변동은 신경망 언어 모델링에서 복제 실패의 어떤 정도의 원인이 되는가?
• RQ5 신뢰할 수 있고 재현 가능한 모델 비교를 달성하기 위한 계산 비용과 이점은 무엇인가?

주요 결과

• 적절한 정규화를 적용한 표준 LSTMs가 펜 트리뱅크와 위키텍스트-2 양쪽에서 RHN 및 NAS와 같은 더 최근의 모델보다 뛰어난 성능을 보이며, 새로운 최고 성능을 수립한다.
• 최고 성능을 낸 LSTM 모델은 펜 트리뱅크에서 테스트 퍼플렉서티 58.0, 위키텍스트-2에서 60.4를 기록하여 이전에 보고된 결과를 초월한다.
• 하이퍼파라미터 튜닝은 모델 성능을 크게 향상시키며, 1500회의 베이지안 최적화 캠프aign이 유사한 결과에 도달하기 위해 거의 8000회의 단순 격자 탐색을 필요로 하는 것보다 뛰어난 성능을 낸다.
• 최적 설정 주변의 하이퍼파라미터 공간은 잘 조율되어 있으며, 대부분의 근접한 설정이 최고 값에서 3.0 이내의 퍼플렉서티를 보인다.
• LSTM 게이트를 묶는 것은 성능에 미미한 영향을 미치며, 하이퍼파라미터가 적절히 튜닝된 경우 아키텍처 단순화가 성능 저하를 유발하지 않음을 시사한다.
• 연구는 통제되지 않은 하이퍼파라미터 변동이 딥러닝 분야에서 신뢰할 수 없는 주장의 주요 원인임을 확인하며, 특히 모델 향상 폭이 점점 작아지고 점진적인 경우 더욱 그렇다.