[論文レビュー] Non-Parametric Online Learning from Human Feedback for Neural Machine Translation

Dongqi Wang, Haoran Wei+4 more|arXiv (Cornell University)|Sep 23, 2021

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）における非パrametricなオンライン学習手法であるKNN-over-KNN（KoK）を提案する。この手法は、人間が修正した翻訳を格納するKNNモジュールと、NMTモデルとフィードバックベースのKNNモジュールの間で動的にバランスをとるKNNモジュールの2つを用いる。この方法により、翻訳品質が顕著に向上し、最大12.9 BLEUおよび9.7 TERの改善が達成された。一方で、繰り返し人間による修正を必要としなくなり、NMTアーキテクチャの変更やオンラインモデル更新を一切行わず、性能を向上させた。

ABSTRACT

We study the problem of online learning with human feedback in the human-in-the-loop machine translation, in which the human translators revise the machine-generated translations and then the corrected translations are used to improve the neural machine translation (NMT) system. However, previous methods require online model updating or additional translation memory networks to achieve high-quality performance, making them inflexible and inefficient in practice. In this paper, we propose a novel non-parametric online learning method without changing the model structure. This approach introduces two k-nearest-neighbor (knn) modules: one module memorizes the human feedback, which is the correct sentences provided by human translators, while the other balances the usage of the history human feedback and original NMT models adaptively. Experiments conducted on EMEA and JRC-Acquis benchmarks demonstrate that our proposed method obtains substantial improvements on translation accuracy and achieves better adaptation performance with less repeating human correction operations.

研究の動機と目的

• NMTシステムがコストのかかるオンラインモデル更新を伴わずに、リアルタイムで人間のフィードバックに適応する課題に対処すること。
• 同じ文に対して繰り返し修正を行う必要を減らすことで、ポストエディティングにおける人間の作業負荷を低減すること。
• オンライン適応において、深刻な忘却や計算コストの増加を回避しながら高い翻訳品質を維持すること。
• アーキテクチャの変更なしに、事前学習済みNMTモデルと即座に統合可能なプラグアンドプレイ手法の開発

提案手法

• 二重KNN機構を導入：Token-KNNは、意味的類似度を用いてデータストアから人間が修正した翻訳を格納・取得する。
• Policy-KNNは、取得された特徴量を用いたk-NN分類器により、NMTモデルとToken-KNNの間の動的補間重み（λ）を学習する。
• 取得結果の関連性と修正品質に基づき、有用な場合（1）、ノイズの多い場合（0）の2値フラグを、Policy-KNNのデータストアのラベルとして用いる。
• Token-KNNの取得結果から抽出された特徴量を用いて、Policy-KNNのデータストアを構築し、文脈に応じたモデルとフィードバックのバランスを実現する。
• 補間処理を適用：最終的な翻訳確率 = λ × p(Token-KNN) + (1−λ) × p(NMT)、ここでλはPolicy-KNNによって予測される。
• 実験では、適応性能の制御された評価を可能にするために、オラクルリファレンスを用いて人間のフィードバックをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 パrameterの更新なしに、非パrametric手法がNMTの人間のフィードバックに効果的に適応できるか。
• RQ2 推論中に、事前学習済みNMTモデルと人間が修正した翻訳の間のバランスを動的に最適化できるか。
• RQ3 KoKは、効果的な適応に必要な繰り返し人間修正の回数をどの程度削減できるか。
• RQ4 提案手法は、リソースが限られたフィードバック環境下で、既存のオンライン学習およびメモリ拡張NMT手法を上回る性能を示すか。

主な発見

• KoKは、EMEAおよびJRC-Acquisベンチマークで、事前学習済みNMTモデルに対して最大12.9 BLEUの向上と9.7 TERの低減を達成した。
• 短文および長文を含むすべての文書長さのバケットで、最先端のオンライン学習ベースラインを一貫して上回った。
• Policy-KNNにより、関連のない取得結果の干渉を低減し、全長さにおいてRインジケータ（R1–R5）の急激な向上が確認され、適応が高速化された。
• 繰り返し人間による修正の必要性が減少し、適応性能の収束が速く、繰り返し編集への依存度が低くなった。
• オンライン勾配更新や深刻な忘却を回避しながら、最小限の計算コストで競争力のある性能を達成した。
• Token-KNNの取得確率が高い場合、Policy-KNNが学習する平均補間重みλも高くなることが示され、取得品質に基づいた効果的な動的重み付けが実現している。