[論文レビュー] Who did They Respond to? Conversation Structure Modeling using Masked Hierarchical Transformer

Henghui Zhu, Nan Feng+3 more|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 21被引用数 5

ひとこと要約

本稿では、親発話の関係をより正確にモデル化するため、新たなマスク機構を用いて祖先履歴を明示的に活用するマスク付き階層型トランスフォーマー（Masked Hierarchical Transformer）モデルを提案する。このモデルは、会話全体の文脈を用いて親発話をより正確にモデル化することで、RedditおよびUbuntu IRCデータセットにおいて、強いベースライン（BERTを含む）を著しく上回る性能を達成した。

ABSTRACT

Conversation structure is useful for both understanding the nature of conversation dynamics and for providing features for many downstream applications such as summarization of conversations. In this work, we define the problem of conversation structure modeling as identifying the parent utterance(s) to which each utterance in the conversation responds to. Previous work usually took a pair of utterances to decide whether one utterance is the parent of the other. We believe the entire ancestral history is a very important information source to make accurate prediction. Therefore, we design a novel masking mechanism to guide the ancestor flow, and leverage the transformer model to aggregate all ancestors to predict parent utterances. Our experiments are performed on the Reddit dataset (Zhang, Culbertson, and Paritosh 2017) and the Ubuntu IRC dataset (Kummerfeld et al. 2019). In addition, we also report experiments on a new larger corpus from the Reddit platform and release this dataset. We show that the proposed model, that takes into account the ancestral history of the conversation, significantly outperforms several strong baselines including the BERT model on all datasets

研究の動機と目的

• 発話同士のペアワイズ手法が文脈不足のため失敗する会話において、親発話を正確に特定する課題に対処すること。
• 各発話の完全な祖先履歴を組み込むことで、孤立した発話ペアに依存しない会話構造のモデリングを行うこと。
• 時間的近接性に依存するのを減らすために、構造的（祖先的）関係を時間的関係よりも優先するマスク機構を設計すること。
• 要約や対話分析などの下流タスクを改善するために、正確な会話スレッド構造を回復すること。

提案手法

• 2段階のトランスフォーマー・アーキテクチャ：まず、事前学習済みトランスフォーマーが各発話を密度ベクトルに符号化する。
• 2段階目の階層型トランスフォーマーは、各発話をターゲットと比較し、ターゲット発話の祖先チェーンにのみ注目を制限する新しいマスク機構を用いる。
• マスク機構により、各非ターゲット発話は会話木における自身の祖先にのみ注目でき、構造的文脈が保持される。
• マスクされた自己注意機構を通じて特徴を集約することで、各発話がターゲットの親である確率を予測する。
• 訓練は、'reply_to'エッジ予測に交差エントロピー損失を用い、エンド・ツー・エンドで行い、訓練中に真の会話構造が使用される。
• アブレーションスタディにより、祖先ベースのマスクの重要性が検証され、時間的のみのマスクやノーマスクベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 発話の完全な祖先履歴をモデル化することで、ペアワイズ手法と比較して親発話予測の正確性が向上するか？
• RQ2 時間的近接性と比較して、構造的（祖先的）文脈を組み込むことで、会話構造の予測性能にどのような差が生じるか？
• RQ3 祖先に限定して注目を制限するマスク付き注意機構は、マスクなしまたは時間的に制限された注目と比較して、より高い性能を示すか？
• RQ4 祖先履歴の深さ（祖先の深さ）が、会話構造モデリングにおけるモデル性能にどの程度影響を与えるか？
• RQ5 手作業で作成した特徴を含む・含まない場合に、BERTなどの強力なベースラインと比較して、モデルの性能はどのように異なるか？

主な発見

• 提案モデルは、Reddit-smallデータセットで60.53%のグラフ正確度および20.61%の会話正確度を達成し、ノーマスク変種（46.43%および15.14%）を著しく上回った。
• 祖先深さ（d）が増加するにつれて性能が向上し、より長い祖先文脈が構造モデリングを向上させることを示し、最適な性能はd=11（完全な祖先アクセス）で得られた。
• 祖先ベースのマスク機構は時間的のみのマスクを上回り、時間的深さ（t）が低い段階で性能が頭打ちになることから、構造的文脈が時間的近接性よりも情報量が多いことが示された。
• Ubuntu IRCデータセットでは、F1スコア89.8%、精度75.4%、再現率34.2%を達成し、追加の手作業特徴を含むBERTベースのベースライン（89.5%、71.7%、30.0%）を上回った。
• アブレーションスタディにより、祖先履歴に基づくマスクが不可欠であることが確認され、その除去により性能が著しく低下した。これは、構造的文脈の重要性を裏付けた。