[論文レビュー] Robust cross-domain disfluency detection with pattern match networks

Vicky Zayats, Mari Ostendorf|arXiv (Cornell University)|Nov 17, 2018

Network Security and Intrusion Detection参考文献 8被引用数 11

ひとこと要約

本稿では、学習された隣接類似度スコアを入力特徴量として用いることで、手作業による特徴工学を排除し、自動的に不順応パターンを発見する新規なパターンマッチニューラルネットワークを提案する。このモデルは、スイッチボード、コールホーム、SCOTUS、FCICなどの多様なスピーチジャンルにおいて、ドメイン内では手作業特徴と同等の性能を達成し、ドメイン外ではベースラインを著しく上回り、堅牢性を示している。

ABSTRACT

In this paper we introduce a novel pattern match neural network architecture that uses neighbor similarity scores as features, eliminating the need for feature engineering in a disfluency detection task. We evaluate the approach in disfluency detection for four different speech genres, showing that the approach is as effective as hand-engineered pattern match features when used on in-domain data and achieves superior performance in cross-domain scenarios.

研究の動機と目的

• 不順応検出における手作業による特徴工学の必要性を排除し、会話内でのパターンを自動的に発見すること。
• スイッチボード、コールホーム、SCOTUS、FCICなどの多様なスピーチジャンルにおける不順応検出におけるドメイン間一般化性能を向上させること。
• 隣接語間の類似度スコアを特徴量として用いるニューラルアーキテクチャを開発し、再編修パターンを検出すること。
• 従来のモデル（例：LSTM）がドメイン内パターンに過適合する状況における、ドメイン外設定でのモデルの堅牢性を評価すること。
• 類似度ベースの特徴量が、ドメイン内およびドメイン外の両方の状況で、手作業特徴のパターンマッチ特徴量と同等またはそれを上回る性能を達成できることを実証すること。

提案手法

• モデルは、学習された埋め込みとコサイン類似度を用いて、各単語と固定ウィンドウ（前後）内の単語との間で隣接類似度スコアを計算する。
• 類似度スコアは $ \alpha^{\{f,b\}}_{i,j} = \text{sim}(W^1 x_i, W^2 x_j) $ として計算され、ここで $ W^1, W^2 $ はトークンおよび品詞表現のためのトレーニング可能な重み行列である。
• 得られた類似度行列 $ \alpha \in \mathbb{R}^{w \times n \times d_f} $ は、1次元畳み込みニューラルネットワーク（CNN）に供給され、局所的な複数トークンパターンマッチを検出する。
• CNNは、類似度行列内の空間的相関を検出し、「we were」が「I was」とマッチするようなパターンを学習する。
• アテンション機構を避けるために、類似度スコアをアテンション重みではなく特徴量として使用する。
• ハイパーパrameterはスイッチボード開発セットでチューニングされ、モデルは4つのコーパス（スイッチボード（ドメイン内）、コールホーム、SCOTUS、FCIC（ドメイン外））上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 手作業特徴に依存せずに、ニューラルネットワークが不順応パターンを自動で発見できるか？
• RQ2 学習された類似度スコアを用いたパターンマッチネットワークの性能は、手作業特徴を用いたモデルと比べてどうか？
• RQ3 提案されたモデルは、既存のモデルと比較して、クロスドメイン不順応検出シナリオでより良い一般化性能を示すか？
• RQ4 LSTMはなぜクロスドメイン設定で失敗するのか？パターンマッチネットワークはこの問題を緩和できるか？
• RQ5 類似度ベースの特徴量は、多様なスピーチジャンル（不順応パターンが異なる）において、どの程度堅牢性を向上させるか？

主な発見

• パターンマッチネットワークはスイッチボードテストセットでF1スコア86.7を達成し、手作業特徴を用いたLSTM（86.8）と同等の性能であり、CRF（71.3）を上回っている。
• ドメイン外データでは、コールホームで65.2、SCOTUSで79.9、FCICで66.1のF1スコアを達成し、すべてのドメインでLSTMベースラインおよびCRFを著しく上回っている。
• 手作業特徴を用いたLSTMは、精度が急激に低下（例：コールホームで54.7）し、特に長い不順応を多く誤検出する（ホールーシュレーション）傾向を示している。
• 誤差解析の例から、学習された類似度特徴を用いたモデルは、手作業特徴を用いたLSTMと比較して誤検出（偽陽性）を低減している。
• パターンマッチネットワークは、CRFやLSTMよりもドメイン外設定でより堅牢であり、ドメインシフトした不順応パターンへの一般化性能が優れている。
• モデルの性能は、公式（SCOTUS）、非公式（コールホーム）、技術的（FCIC）なスピーチを含む多様なドメインで安定しており、強力なドメイン一般化性能を示している。