[論文レビュー] A Re-ranker Scheme for Integrating Large Scale NLU models

Chengwei Su, Rahul Gupta+2 more|arXiv (Cornell University)|Sep 25, 2018

Topic Modeling参考文献 17被引用数 5

ひとこと要約

この論文では、大規模NLUシステム向けにモジュラーでキャリブレーション可能な再ランク手法を提案し、トップ仮説の正確性とスコアのキャリブレーションを同時に最適化することで、クロスドメインの仮説ランク付けを改善する。この手法により、ドメイン固有の非同期学習が可能となりながらも、ドメイン間でスコアが同等の水準を維持でき、ベースライン比で意味的誤り率を3.7%低減する。

ABSTRACT

Large scale Natural Language Understanding (NLU) systems are typically trained on large quantities of data, requiring a fast and scalable training strategy. A typical design for NLU systems consists of domain-level NLU modules (domain classifier, intent classifier and named entity recognizer). Hypotheses (NLU interpretations consisting of various intent+slot combinations) from these domain specific modules are typically aggregated with another downstream component. The re-ranker integrates outputs from domain-level recognizers, returning a scored list of cross domain hypotheses. An ideal re-ranker will exhibit the following two properties: (a) it should prefer the most relevant hypothesis for the given input as the top hypothesis and, (b) the interpretation scores corresponding to each hypothesis produced by the re-ranker should be calibrated. Calibration allows the final NLU interpretation score to be comparable across domains. We propose a novel re-ranker strategy that addresses these aspects, while also maintaining domain specific modularity. We design optimization loss functions for such a modularized re-ranker and present results on decreasing the top hypothesis error rate as well as maintaining the model calibration. We also experiment with an extension involving training the domain specific re-rankers on datasets curated independently by each domain to allow further asynchronization. %The proposed re-ranker design showcases the following: (i) improved NLU performance over an unweighted aggregation strategy, (ii) cross-domain calibrated performance and, (iii) support for use cases involving training each re-ranker on datasets curated by each domain independently.

研究の動機と目的

• 大規模NLUシステムにおけるクロスドメインの仮説ランク付けを改善しつつ、ドメイン固有のモularityを維持する再ランカーの設計。
• 信頼性のある比較や拒否閾値の設定を可能にするために、ドメイン間で出力スコアをキャリブレーションすること。
• 独立に整備されたデータセットを用いて、ドメイン固有の再ランカーを非同期かつ並列に学習可能にする。
• 独自の損失関数を用いて、トップ仮説の正しさとスコアのキャリブレーションを同時に最適化すること。
• 各ドメインの学習データが非同期に更新される状況下でも、再ランカーの頑健性を評価すること。

提案手法

• 再ランカーは、ドメイン固有のNLUコンponent（ドメイン分類器、意図分類器、NER）が生成した仮説を再スコアリングするためのニューラルモデルを用いる。
• トップ仮説の正しさを最適化するランク付け損失と、スコアの信頼性を確保するキャリブレーション損失を組み合わせたマルチタスク損失関数を採用する。
• ドメイン固有のデータを用いて学習を行うため、各ドメインで独立して非同期に学習が可能である。
• 信頼性曲線の目的関数を用いてキャリブレーションを強制し、予測スコアが実際の正解率を的確に反映するようにする。
• ドメイン間で一貫したスコア分布を維持することで、各ドメインに固有の拒否閾値の適用が可能となる。
• 共有されたデータと独立にサンプルされたデータを用いたアブレーションスタディにより、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーな再ランカーは、ドメインごとのモularityを維持しつつNLUの正確性を向上させることができるか？
• RQ2 キャリブレーション損失を組み込むことで、ドメイン間でスコアの信頼性が向上するか？
• RQ3 ドメイン固有の再ランカーは、独立に整備されたデータセットを用いても性能劣化なしに学習可能か？
• RQ4 非同期学習条件下でも再ランカーは良好に動作するか？
• RQ5 キャリブレーションは、仮説拒否などの下流意思決定にどの程度寄与するか？

主な発見

• 再ランカーはベースライン比で意味的誤り率（SemER）を3.7%低減し、最終的なSemERは6.8%にまで低下した。
• R3モデルのクロスドメインキャリブレーション曲線はほぼ対角線に近く、全ドメインで良好なキャリブレーションが実現している。
• ドメインごとのキャリブレーション曲線では、特に低スコアボックスで過信が顕著に改善されており、信頼性が向上した。
• 各ドメインの再ランカーが訓練データの異なる90%サブセットで学習されても、性能は0.05%の相対的劣化に留まり、安定性を維持した。
• キャリブレーションされた再ランカーにより、拒否閾値の安全な適用が可能となり、過信による誤った拒否が減少した。
• 性能に損なわれることなく非同期学習が可能となり、ドメイン間でのモデル更新が高速化された。