[論文レビュー] Finding Sparse Structures for Domain Specific Neural Machine Translation

Jianze Liang, Chengqi Zhao+3 more|arXiv (Cornell University)|Dec 19, 2020

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、事前学習済みの汎用ドメインモデルからスパースでドメイン固有の部分ネットワークを段階的プルーニングによって抽出する、パラメータ効率の良いドメイン適応手法であるPrune-Tuneを提案する。プルーニングされた部分ネットワークを固定し、残りのパラメータのみを微調整することで、Catastrophic forgetting（途切れ的忘却）と過学習を軽減し、単一および複数ドメイン設定の両方で、汎用ドメイン性能を損なわずに、最先端の性能を達成する。

ABSTRACT

Neural machine translation often adopts the fine-tuning approach to adapt to specific domains. However, nonrestricted fine-tuning can easily degrade on the general domain and over-fit to the target domain. To mitigate the issue, we propose Prune-Tune, a novel domain adaptation method via gradual pruning. It learns tiny domain-specific sub-networks during fine-tuning on new domains. Prune-Tune alleviates the over-fitting and the degradation problem without model modification. Furthermore, Prune-Tune is able to sequentially learn a single network with multiple disjoint domain-specific sub-networks for multiple domains. Empirical experiment results show that Prune-Tune outperforms several strong competitors in the target domain test set without sacrificing the quality on the general domain in both single and multi-domain settings. The source code and data are available at https://github.com/ohlionel/Prune-Tune.

研究の動機と目的

• ニューラル機械翻訳（NMT）におけるドメイン適応の際の途切れ的忘却と過学習を解消すること。
• 汎用ドメイン知識を保持しながら、特定ドメインに適応するパラメータ効率の良い手法を開発すること。
• 反復的なプルーニングと微調整を通じて、1つのモデルが複数の非交差ドメインをサポートできるようにすること。
• スパース部分ネットワークが自動的に発見され、ドメイン固有の適応に活用可能かどうかを検証すること。
• 手作業で設計されたアダプターや正則化技術の代替として、スケーラブルでモデルに依存しない代替手法を提供すること。

提案手法

• 事前学習済みの汎用ドメインNMTモデルに対して段階的プルーニングを適用し、汎用知識を保持するスパースで高性能な部分ネットワークを同定する。
• プルーニングされた部分ネットワークを固定することで、その後の微調整中に汎用ドメイン能力を維持する。
• プルーニングされなかった残りのパラメータをターゲットドメインデータで微調整し、ドメイン固有のパターンに適応する。
• 新しいドメインごとに順次プルーニングと微調整を繰り返すことで、複数ドメインをサポートするようにこの手法を段階的に拡張する。
• モデルの変更を避け、アーキテクチャの変更や追加パラメータを必要としない。
• 継続的学習とロットナリーハイポセシスの原則を活用し、効果的なスパース部分ネットワークを同定する。

実験結果

リサーチクエスチョン

• RQ1 汎用ドメインNMTモデルから、汎用タスクで高い性能を維持するスパース部分ネットワークを自動的に発見できるか？
• RQ2 プルーニングされなかったパラメータのみを微調整することで、途切れ的忘却を防ぎつつ、ターゲットドメインでの性能向上が達成できるか？
• RQ3 Prune-Tuneは、1つのモデルを用いて複数の非交差ドメインをサポートできるか？
• RQ4 Prune-Tuneの性能は、微調整、EWC、アダプターベース手法といった強力なベースラインと比較して、ターゲットドメインおよび汎用ドメイン両方の性能で優れているか？
• RQ5 Prune-Tuneを用いた効果的なドメイン適応に必要な最小限のパラメータ予算はどの程度か？

主な発見

• Prune-Tuneは、En→De翻訳のターゲットドメインテストセットにおいて、標準的な微調整、EWC、モデル distillation、レイヤー固定、アダプターベース手法をすべて上回る性能を発揮する。
• この手法は、標準的な微調整で見られるような汎用ドメイン性能の低下を回避し、あるいはそれを改善する。
• En→Deベンチマークにおいて、Prune-Tuneはターゲットドメインで標準的な微調整よりも最大4.2ポイントのBLEUスコア向上を達成する。
• 実験の結果、大多数のドメインで微調整対象パラメータがモデル全体の5%未満で十分であり、1%の微調整でも同等の性能が得られることが示された。
• 複数ドメイン適応において、異なる学習順序に対してもPrune-Tuneは頑健であり、異なるドメイン適応順序間でのBLEUスコアの差はわずかである。
• Prune-Tuneは、性能の低下を伴わず、1つのモデルが複数のドメインをサポート可能であり、スケーラビリティとパラメータ効率性を示している。