[論文レビュー] Self-organized Hierarchical Softmax

Yikang Shen, Shawn Tan+2 more|arXiv (Cornell University)|Jul 26, 2017

Topic Modeling参考文献 24被引用数 3

ひとこと要約

この論文では、語の頻度や語の分散表現に依存せず、文脈的な類似性に基づいて学習中に語クラスタを自己組織的に学習する階層的ソフトマックスを提案する。この手法は言語モデル学習中に完全なソフトマックスと同等の性能を達成し、文の要約のタスクで優れた結果を示す一方、文脈に応じた意味的なクラスタリングにより、標準的なソフトマックスよりも3倍以上高速である。

ABSTRACT

We propose a new self-organizing hierarchical softmax formulation for neural-network-based language models over large vocabularies. Instead of using a predefined hierarchical structure, our approach is capable of learning word clusters with clear syntactical and semantic meaning during the language model training process. We provide experiments on standard benchmarks for language modeling and sentence compression tasks. We find that this approach is as fast as other efficient softmax approximations, while achieving comparable or even better performance relative to similar full softmax models.

研究の動機と目的

• 大規模語彙言語モデルにおける完全ソフトマックスの計算非効率性を解消すること。
• 文法的および意味的関係を反映する階層的語構造を学習することで、モデル性能を向上させること。
• 訓練中に文脈予測に基づいて動的に語をクラスタに整理する階層的ソフトマックスを構築すること。
• 近似ソフトマックス手法と同等の高速な推論および学習速度を達成しながら、高い精度を維持すること。
• 自己組織的クラスタリングが、明示的な品詞タグ付けなしに文法的役割と意味的類似性を暗黙的に捉えることができるかを示すこと。

提案手法

• モデルは言語モデルの学習中に、語の予測的文脈に基づいて語クラスタを形成する階層的木構造を学習する。語の頻度や固定された分散表現とは無関係に構築される。
• 語がその割り当てられたクラスタに属する尤度を最大化するためのクラスタリング目的関数を導入する。
• 階層的ソフトマックスは、根からリーフまでのパスに沿ったノードの尤度の積として語の確率を計算し、計算量をO(|V|)からO(log|V|)に削減する。
• バックプロパゲーションを用いて言語モデルと階層的構造を同時に最適化し、意味的なクラスタのエンドツーエンド学習を可能にする。
• 勾配に基づく最適化によって語のクラスタが動的に形成され、文脈的行動が類似する語が優遇される。
• この手法はLSTMベースの言語モデルおよび注意機構を備えた系列変換モデルに適用され、文の要約タスクに用いられる。

実験結果

リサーチクエスチョン

• RQ1 訓練中にエンドツーエンドで学習可能な階層的ソフトマックス構造は、性能向上に寄与するか？
• RQ2 文脈に依存するクラスタリングは、意味的および文法的に意味のある語グループを生成するか？
• RQ3 自己組織的階層的ソフトマックスは、計算効率を維持しながら完全ソフトマックスと同等またはそれ以上の性能を達成できるか？
• RQ4 意味的整合性の観点から、事前に定義されたクラスタリングや分散表現に基づくクラスタリングと比較して、学習された構造はどの程度優れているか？
• RQ5 階層的構造は、文の要約などの下流タスクにおいてどの程度性能を向上させるか？

主な発見

• 自己組織的階層的ソフトマックスは、Gigawordデータセットで文の要約のF1スコア31.95を達成し、完全ソフトマックス（31.52）および最先端手法を上回った。
• 言語モデル作成タスクでは、完全ソフトマックスと同等の性能を示したが、Gigaword5セットでは学習時間を210分から63分に短縮し、3倍以上高速化された。
• モデルが学習した語クラスタは、明示的な品詞監視なしに、文法的役割と意味の類似性に強く関連しており、意味的・文法的整合性が高かった。
• Gigawordテストセットからの定性的な例から、完全ソフトマックスよりも正確で滑らかな要約を生成した。
• 訓練中に文脈に適応したクラスタリングが、系列モデルタスクにおける一般化性能と効率性の向上に寄与することが示された。
• 標準的なソフトマックスと比較して3倍の高速化を達成しながら、性能を維持または向上させたことから、実用的な効率性が確認された。