[논문 리뷰] Contextual Temperature for Language Modeling

Pei-Hsin Wang, Sheng-Iou Hsieh외 5명|arXiv (Cornell University)|2020. 12. 25.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 문맥 기반 온도를 제안하며, 각 어휘 토큰에 대해 그 문맥적 역사를 기반으로 고유한 온도를 학습함으로써 언어 모델링에서의 동적 불확실성 제어를 가능하게 한다. 토큰과 문맥별로 온도를 최적화함으로써, 펜 트리뱅크에서 55.31의 퍼플렉서티와 위키텍스트-2에서 62.89의 퍼플렉서티를 기록하며 고정 온도 또는 스케줄 기반 온도 스케일링보다 유의하게 뛰어난 성능을 달성한다.

ABSTRACT

Temperature scaling has been widely used as an effective approach to control the smoothness of a distribution, which helps the model performance in various tasks. Current practices to apply temperature scaling assume either a fixed, or a manually-crafted dynamically changing schedule. However, our studies indicate that the individual optimal trajectory for each class can change with the context. To this end, we propose contextual temperature, a generalized approach that learns an optimal temperature trajectory for each vocabulary over the context. Experimental results confirm that the proposed method significantly improves state-of-the-art language models, achieving a perplexity of 55.31 and 62.89 on the test set of Penn Treebank and WikiText-2, respectively. In-depth analyses show that the behaviour of the learned temperature schedules varies dramatically by vocabulary, and that the optimal schedules help in controlling the uncertainties. These evidences further justify the need for the proposed method and its advantages over fixed temperature schedules.

연구 동기 및 목표

• 언어 모델링 중 모델의 불확실성 제어에 있어 고정 또는 수작업으로 설정된 온도 스케줄의 한계를 해결하기 위해.
• 최적의 온도 궤적은 어휘 토큰과 문맥에 따라 달라지는가를 조사하기 위해.
• 모델의 校정성과 성능 향상을 위해 토큰과 문맥에 따라 적응하는 일반화된 온도 스케일링 메커니즘을 개발하기 위해.
• 동적 온도 제어가 초기 시퀀스 위치에서 불확실성을 줄이고 후반부에서는 억제함으로써 시퀀스 모델링을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 모든 토큰에 대해 학습 가능한 온도 벡터를 도입하며, 이 온도는 트랜스포머 인코더의 은닉 상태에 조건화된다.
• 소규모 피드포워드 네트워크로 파arameterized된 온도 네트워크가 문맥 임베딩을 기반으로 각 토큰의 온도를 예측한다.
• 온도는 소프트맥스 함수 이전의 로짓에 적용되며, 출력 분포를 수정한다: $ p_i = \frac{\exp(z_i / \tau_i)}{\sum_j \exp(z_j / \tau_j)} $.
• 언어 모델과 함께 엔트로피 손실을 사용해 온도 네트워크를 엔드 투 엔드로 훈련함으로써, 각 토큰의 온도를 조정하기 위한 기울기가 역전파된다.
• 학습된 온도 벡터를 기반으로 소프트맥스 유사 연산을 통해 온도 값을 정규화하여 안정성과 미분 가능성을 확보한다.
• 장문의 시퀀스에서 성능 향상을 위해 혼합 전문가(MoS) 설정에 적용되며, 이를 CT-MoS로 지칭한다.

실험 결과

연구 질문

• RQ1 주어진 토큰에 대해 최적의 온도 스케줄이 문맥에 따라 크게 달라지는가?
• RQ2 문맥에 따라 토큰별 온도를 학습함으로써 언어 모델의 퍼플렉서티와 校정성 향상을 달성할 수 있는가?
• RQ3 동적 온도 제어는 시퀀스 내 다양한 위치에서의 불확실성 분포에 어떤 영향을 미치는가?
• RQ4 토큰별 온도 적응은 고정 또는 전역 온도 스케줄보다 시퀀스 모델링에서 더 나은 성능을 내는가?

주요 결과

• 제안된 문맥 기반 온도 방법은 펜 트리뱅크 데이터셋에서 테스트 퍼플렉서티 55.31을 기록하며 기준 모델 대비 유의미한 향상을 보였다.
• 위키텍스트-2 데이터셋에서는 퍼플렉서티 62.89를 기록하며, 다양한 벤치마크에서 일관된 성능 향상을 입증했다.
• 분석 결과, 문장의 시작부분에서는 평균 온도가 높고 점차 끝부분으로 갈수록 감소하는 경향을 보이며, 초기에는 불확실성이 증가하고 후반부에는 감소함을 시사한다.
• 토큰별 온도 스케줄은 극명하게 다름: 일부 토큰은 '가열' 행동을 보이며, 다른 토큰은 안정적인 냉각을 보이며, 이는 문맥 기반 불확실성 제어를 반영한다.
• 제거 실험 결과, 동적이고 문맥 인식 온도 스케줄링이 고정 또는 전역 온도 스케일링보다 더 나은 성능을 낸다는 것이 확인되었다.
• 사례 연구 결과, 문맥 기반 온도가 토큰 선택을 향상시키며, 예를 들어 'treasury'나 '$' 대신 'results'나 'loss'를 더 정확히 예측하도록 학습된 온도를 통한 확률 스케일링 조정을 가능하게 했다.