[論文レビュー] Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time

Vladislav Lialin, Rahul Goel+3 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本論文では、EWC正則化とフルデータセットスーパーサンプリングを組み合わせた、高速で効率的な意味解析モデルの更新手法を提案する。学習から再開する場合と同等の性能を達成しつつ、学習時間の10%未塔で実現可能であり、深刻な忘却を最小限に抑える。この手法により、実世界の導入環境において大規模な意味解析システムを実用的かつ頻繁に再訓練することが可能になる。

ABSTRACT

Currently used semantic parsing systems deployed in voice assistants can require weeks to train. Datasets for these models often receive small and frequent updates, data patches. Each patch requires training a new model. To reduce training time, one can fine-tune the previously trained model on each patch, but naive fine-tuning exhibits catastrophic forgetting - degradation of the model performance on the data not represented in the data patch. In this work, we propose a simple method that alleviates catastrophic forgetting and show that it is possible to match the performance of a model trained from scratch in less than 10% of a time via fine-tuning. The key to achieving this is supersampling and EWC regularization. We demonstrate the effectiveness of our method on multiple splits of the Facebook TOP and SNIPS datasets.

研究の動機と目的

• 生産環境における意味解析モデルの長時間にわたる学習時間を短縮すること。
• 新規データパッチが頻繁に追加される状況、特に低リソースまたは長尾クラスにおいて、再訓練のオーバーヘッドを低減すること。
• 深刻な忘却を伴わずに高速かつ効率的なモデル更新を可能とし、継続的学習を実世界のNLPシステムに実用化すること。
• 意味解析におけるデータインクリメンタル継続的学習手法の有効性を、速度、正確性、忘却低減の観点から評価すること。
• 低リソースクラスに特に敏感なクラスごとの性能低下を特定できる新しい評価指標を提案すること。

提案手法

• EWC（エラスティック・ウェイト・コンソリデーション）正則化を用いて、微調整時に以前に学習したデータからの知識を保持する。
• 旧データ（D₁）のすべての例を含むフルデータセットスーパーサンプリングを適用し、小さなリプレイバッファを使用するのではなく、新規データ（D₂）の微調整時に旧データ全体を再利用する。
• 旧データと新規データの組み合わせデータセット上でモデルを微調整し、クラスバランスの悪化が忘却を悪化させないよう、バランスの取れたサンプリングを実施する。
• 層の凍結を避ける。層の凍結は性能を低下させることが判明したため、代わりにEWCとデータの再重み付けに依存して学習を安定化させる。
• 深刻な忘却を定量的に測定するため、2σ以上に性能低下を示すクラス数を追跡する新しい評価指標を導入する。
• 複数のFacebook TOPおよびSNIPSデータセットのスプリットにおいて、さまざまなデータ可用性条件の下で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 EWCとフルデータセットスーパーサンプリングを用いた微調整が、意味解析において学習から再開する場合と同等の性能を達成できるか？
• RQ2 この手法は、データインクリメンタルな設定において、学習時間をどの程度短縮しつつ、深刻な忘却を最小限に抑えることができるか？
• RQ3 旧データにわずか数例（例：30未満）しか存在せず、その後数百分の例が段階的に追加される状況では、この手法はどのように動作するか？
• RQ4 EWCとフルデータセットサンプリングの組み合わせが、多様なクラス分布において、他の正則化およびリプレイ戦略を上回って忘却を低減できるか？
• RQ5 提案された指標は、深刻な忘却に起因するクラスごとの性能低下を効果的に検出し、定量化できるか？

主な発見

• 微調整に要する時間は、学習から再開する場合の10%未満であり、テストセット性能は学習から再開したモデルと同等に達成された。
• EWCと旧データ20%のサンプリングを組み合わせた場合、全データセットスプリットで最も低い忘却度を示した。EWC + フルサンプリングでは、10%の旧データで「 organizer_event 95 」スプリットにおいて、完全に忘却を回避した。
• 6つのデータセットスプリットのうち5つにおいて、EWCとサンプリングを用いた手法が、2σ以上の顕著な性能低下を示すクラス数が最も少なかった。
• 層の凍結は効果がなく、むしろ有害であった。特にヘッド層のみを更新した場合に顕著で、低リソースクラスにおいて特徴の適応が極めて重要であることが示された。
• 初期に30例未満、その後300例未満の例が追加される現実的な低データ設定において、学習から再開する場合よりも本手法が優れた性能を示した。
• クラス固有の低下を測定するための提案指標は、全体のEMまたはF1スコアでは見えにくかった忘却パターンを効果的に特定できた。