[論文レビュー] Joint Slot Filling and Intent Detection via Capsule Neural Networks

Chenwei Zhang, Yaliang Li+3 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 24被引用数 39

ひとこと要約

本論文では、動的ルーティング・アグリーメントを通じて単語、スロット、意図の間の階層的関係をモデル化することにより、スロット埋め込みと意図検出を統合的に実行するキャプセルニューラルネットワークモデル、Capsule-NLUを提案する。本モデルは、推論された意図表現を活用する新しい再ルーティング機構を導入し、スロット埋め込みを向上させ、既存のアーキテクチャーや商業的NLUサービスと比較して、2つの実世界データセットで最先端の性能を達成する。

ABSTRACT

Being able to recognize words as slots and detect the intent of an utterance has been a keen issue in natural language understanding. The existing works either treat slot filling and intent detection separately in a pipeline manner, or adopt joint models which sequentially label slots while summarizing the utterance-level intent without explicitly preserving the hierarchical relationship among words, slots, and intents. To exploit the semantic hierarchy for effective modeling, we propose a capsule-based neural network model which accomplishes slot filling and intent detection via a dynamic routing-by-agreement schema. A re-routing schema is proposed to further synergize the slot filling performance using the inferred intent representation. Experiments on two real-world datasets show the effectiveness of our model when compared with other alternative model architectures, as well as existing natural language understanding services.

研究の動機と目的

• 従来のパイプライン型および統合型モデルが、単語、スロット、発話レベルの意図の間の階層的関係を明示的にモデル化できないという限界に対処すること。
• 動的ルーティング・アグリーメントを通じてキャプセルネットワークが階層的特徴階層を捉える能力を活用し、統合的スロット埋め込みと意図検出を改善すること。
• 新しい再ルーティングスキームを用いて推論された意図表現を統合することで、スロット埋め込みの性能を向上させること。
• 従来のRNN/CNNベースのシーケンシャルラベル付けに代えてキャプセルベースのルーティングを採用することで、順方向モデルにおける誤差伝搬を排除すること。

提案手法

• 入力単語をWordCapsで表現し、スロットタイプをSlotCapsで表現する。動的ルーティング・アグリーメントにより、予測の一致度に基づいて各単語が最も適切なスロットキャプセルに割り当てられる。
• スロット表現は、WordCapsからSlotCapsへの動的ルーティングにより学習され、注目メカニズムに類似したルーティング重みを通じて単語からスロットへの関係を捉える。
• 発話レベルの意図は、SlotCapsからIntentCapsへの動的ルーティングにより予測され、スロット表現を集約して高次元の意図表現が得られる。
• 予測された意図表現を用いて、単語からスロットへのルーティング意思決定を再重み付けする再ルーティングスキームが導入される。
• スロット埋め込みと意図検出の両方のタスクにクロスエントロピー損失を統合した統一損失関数を用いて、同時に最適化される。
• 文脈の順方向圧縮を避けるために、単語、スロット、意図の各レベルで階層的構造を保持するキャプセルルーティングを用いる。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、統合NLUタスクにおいて、単語、スロット、発話レベルの意図の間の階層的関係を効果的にモデル化できるか？
• RQ2 動的ルーティング・アグリーメントは、統合的意図検出におけるスロット埋め込みのための従来のRNNまたはCNNベースのシーケンシャルラベル付けを上回るか？
• RQ3 推論された発話レベルの意図は、再ルーティング機構を通じて単語レベルのスロット埋め込みを向上させることができるか？
• RQ4 提案された再ルーティングスキームは、標準的なキャプセルルーティングと比較して、スロット埋め込みの性能をどのように向上させるか？
• RQ5 Capsule-NLUは、既存のモデルや商業的サービスと比較して、実世界のNLUベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたCapsule-NLUモデルは、2つの実世界NLUデータセットで最先端の性能を達成し、ベースラインアーキテクチャーや既存の商業的NLUサービスを上回る。
• 再ルーティングスキームは、予測された意図表現を活用して単語からスロットへのルーティング意思決定を再調整することで、スロット埋め込みのF1スコアを顕著に向上させる。
• 動的ルーティング・アグリーメントは、単語、スロット、意図の間の階層的関係を効果的にモデル化でき、順方向モデルよりも優れた表現学習を可能にする。
• 共有表現を用いたスロット埋め込みと意図検出の同時学習により、パイプライン型アプローチで一般的に見られる誤差伝搬を低減する。
• 実験により、追加の特徴工学を必要とせず、多様な発話に対してキャプセルベースのアプローチが良好に一般化することが示された。
• RNNベースの手法とは異なり、単一のベクトルによる文脈圧縮に依存しないため、長文に対して頑健であることが示された。