[논문 리뷰] Self-organized Hierarchical Softmax

Yikang Shen, Shawn Tan외 2명|arXiv (Cornell University)|2017. 07. 26.

Topic Modeling참고 문헌 24인용 수 3

한 줄 요약

이 논문은 어휘 집합이 큰 언어 모델에서 계산 비용이 높은 전체 소프트맥스의 문제를 해결하기 위해, 어순 유사성에 기반하여 사전에 정의된 구조(빈도 또는 단어 임베딩 등)에 의존하지 않고 학습 도중 어휘 군집을 자율적으로 형성하는 계층적 소프트맥스를 제안한다. 이 방법은 언어 모델링에서 전체 소프트맥스 수준의 성능을 달성하고 문장 압축 작업에서 뛰어난 성능을 보이며, 맥락 기반의 의미 있는 군집화 덕분에 표준 소프트맥스보다 3배 이상 빠른 속도를 기록한다.

ABSTRACT

We propose a new self-organizing hierarchical softmax formulation for neural-network-based language models over large vocabularies. Instead of using a predefined hierarchical structure, our approach is capable of learning word clusters with clear syntactical and semantic meaning during the language model training process. We provide experiments on standard benchmarks for language modeling and sentence compression tasks. We find that this approach is as fast as other efficient softmax approximations, while achieving comparable or even better performance relative to similar full softmax models.

연구 동기 및 목표

• 대규모 어휘 집합을 가진 언어 모델에서 전체 소프트맥스의 계산 비효율성 문제를 해결하기 위해.
• 구문적 및 의미적 관계를 반영하는 계층적 어휘 구조를 학습함으로써 모델 성능을 향상시키기 위해.
• 훈련 도중 맥락 예측에 기반하여 단어를 동적으로 군집으로 조직하는 계층적 소프트맥스를 개발하기 위해.
• 높은 정확도를 유지하면서도 근사 소프트맥스 방법과 유사한 빠른 추론 및 훈련 속도를 달성하기 위해.
• 자율적 군집화가 명시적 품사 태깅 없이도 문법적 역할과 의미 유사성을 암묵적으로 포착할 수 있음을 입증하기 위해.

제안 방법

• 모델은 언어 모델 훈련 도중 단어 군집이 그들의 예측 맥락에 기반하여 형성되는 계층 트리 구조를 학습한다. 이는 정적 어휘 빈도 또는 임베딩에 기반하지 않는다.
• 단어가 할당된 군집에 속할 확률을 최대화하는 클러스터링 목적함수를 도입하여, 이전 맥락을 기반으로 한다.
• 계층적 소프트맥스는 루트에서 리프까지의 경로를 따라 노드 확률의 곱으로 단어 확률을 계산하여, 계산 복잡도를 O(|V|)에서 O(log|V|)로 감소시킨다.
• 역전파를 사용하여 언어 모델과 계층적 구조를 동시에 최적화함으로써 의미 있는 군집을 위한 종단간 학습을 가능하게 한다.
• 기울기 기반 최적화를 통해 단어 군집이 맥락 행동이 유사한 단어들을 선호하는 방식으로 동적으로 형성된다.
• 이 방법은 LSTM 기반 언어 모델과 어텐션 기반 시퀀스-투-시퀀스 모델에 적용되어 문장 압축 작업에 활용된다.

실험 결과

연구 질문

• RQ1 언어 모델 훈련 도중 종단간으로 계층적 소프트맥스 구조를 학습할 수 있는가?
• RQ2 맥락 기반 군집화가 의미적 및 문법적으로 의미 있는 어휘 그룹을 형성하는가?
• RQ3 자율적 계층적 소프트맥스는 계산 효율성을 유지하면서도 전체 소프트맥스 수준의 성능을 달성하거나 초월할 수 있는가?
• RQ4 의미의 일관성 측면에서 사전 정의된 또는 임베딩 기반 군집화와 비교해 봤을 때 학습된 구조는 어떠한가?
• RQ5 계층적 구조는 문장 압축과 같은 후행 작업에서 얼마나 향상된 성능을 제공하는가?

주요 결과

• 자율적 계층적 소프트맥스는 Gigaword 데이터셋에서 문장 압축 F1 스코어 31.95를 기록하여 전체 소프트맥스(31.52)와 최신 기술을 모두 능가했다.
• 언어 모델링 작업에서 이 방법은 전체 소프트맥스 수준의 성능를 유지하면서도, Gigaword5 세트에서 훈련 시간을 210분에서 63분으로 단축시켜 3배 이상 빠른 속도를 기록했다.
• 모델이 학습한 단어 군집은 명시적 품사 태깅 없이도 강력한 의미적 및 문법적 일관성을 보였으며, 어휘를 문법적 역할과 의미에 따라 그룹화했다.
• Gigaword 테스트 세트의 질적 예시에서 전체 소프트맥스보다 더 정확하고 유창한 요약을 생성했다.
• 훈련 도중 맥락 인식 군집화가 시퀀스 모델링 작업에서 더 나은 일반화와 효율성을 이끌어낸다는 점을 입증했다.
• 표준 소프트맥스보다 3배 빠른 속도를 기록하면서도 성능을 유지하거나 향상시켰기 때문에 실용적인 효율성을 확인했다.