[論文レビュー] DialBERT: A Hierarchical Pre-Trained Model for Conversation Disentanglement

Tianda Li, Jia-Chen Gu+5 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 28被引用数 19

ひとこと要約

DialBERT は、BERT を用いた局所的発話レベルの一致と、BiLSTM を用いたグローバルな文脈レベルのモデリングを統合することで、会話の分離を改善する階層的事前学習モデルである。パラメータ数がたった 3% 増加するのみで、BERT よりも F1 スコアで 12% 向上し、IBM Kummerfeld (2019) データセットにおいて新たな最先端性能を達成した。これは、すべての指標で従来のモデルを大きく上回った。

ABSTRACT

Disentanglement is a problem in which multiple conversations occur in the same channel simultaneously, and the listener should decide which utterance is part of the conversation he will respond to. We propose a new model, named Dialogue BERT (DialBERT), which integrates local and global semantics in a single stream of messages to disentangle the conversations that mixed together. We employ BERT to capture the matching information in each utterance pair at the utterance-level, and use a BiLSTM to aggregate and incorporate the context-level information. With only a 3% increase in parameters, a 12% improvement has been attained in comparison to BERT, based on the F1-Score. The model achieves a state-of-the-art result on the a new dataset proposed by IBM and surpasses previous work by a substantial margin.

研究の動機と目的

• 複数の会話が同時に発生する単一チャネルのメッセージング環境において、混合された会話を分離する課題に対処すること。
• 発話レベルと文脈レベルの両方の意味的表現を統合することで、分離性能を向上させること。
• 会話固有のファインチューニングを活用し、Ubuntu フォーラムドメインに適応した事前学習モデルを開発すること。
• 新しい大規模な分離ベンチマークにおいて、既存のモデルを上回ることで、優れた一般化性能と頑健性を示すこと。

提案手法

• モデルは、発話レベルでの候補メッセージペア間の局所的意味的一致を BERT を用いて計算する。
• 前件の発話を通じて情報を集約することで、会話ストリーム全体の文脈を表現するため、BiLSTM がグローバルな文脈を符号化するために用いられる。
• 会話固有の意味的特徴に適応させるために、Ubuntu フォーラムデータ上でマスク言語モデル化 (MLM) と次文予測 (NSP) の目的関数を用いて微調整を行う。
• 正解の前件メッセージを特定するために、ターゲットメッセージと文脈メッセージ間の類似度スコアを計算し、最大スコアに基づいて予測を行う。
• アーキテクチャはメッセージを単一ストリームで処理するため、局所的およびグローバルな依存関係のエンドツーエンド学習が可能である。
• トレーニング後、確率平均化やモデル平均化などのアンサンブル戦略を適用することで、さらなる性能向上を図っている。

実験結果

リサーチクエスチョン

• RQ1 局所的発話一致とグローバルな文脈モデリングを統合した階層的事前学習モデルは、標準的な BERT よりも会話分離性能を上回ることができるか？
• RQ2 Ubuntu フォーラムデータに対するドメイン特化型の微調整は、分離性能の向上にどの程度有効か？
• RQ3 強力な事前学習モデル（例：DialBERT）を用いる場合、言語的特徴はどの程度性能向上に寄与するか？
• RQ4 BiLSTM を用いた文脈モデリングは分離にどの程度重要であり、その層を削除した場合の影響は何か？
• RQ5 新しい大規模な分離ベンチマークにおいて、モデルは以前の最先端手法を上回る一般化性能を示せるか？

主な発見

• DialBERT は、標準的な BERT よりも F1 スコアで 12% の相対的向上を達成し、全 6 項の評価指標で向上を示した。
• DialBERT は、IBM Kummerfeld (2019) の会話分離データセットにおいて、新たな最先端性能を達成し、すべての先行モデルを上回った。
• Ubuntu フォーラムデータに対する微調整は性能向上に顕著な効果を示し、パラメータ数が 3% 増加するのみで大幅な向上が得られた。
• BiLSTM 层を削除すると、性能が急激に低下（F1 スコアが 43.9% から 32.5% に低下）し、文脈モデリングにおけるその重要性が確認された。
• DialBERT を用いた場合、言語的特徴は最小限の向上しかもたらさないため、モデルがすでに大部分の会話的手がかりを捉えきっていることが示された。
• モデル平均化や確率平均化などのアンサンブル手法により、さらに性能が向上し、最良のアンサンブルでは F1 スコアが 45.3% に達したが、依然として挑戦的なタスクである。