[論文レビュー] Word Shape Matters: Robust Machine Translation with Visual Embedding

Haohan Wang, Peiyan Zhang+1 more|arXiv (Cornell University)|Oct 20, 2020

Multimodal Machine Learning Applications参考文献 46被引用数 7

ひとこと要約

本稿では、誤字やノイズなどの低品質な入力を扱う際のニューラル機械翻訳（NMT）モデルの耐性を向上させるために、視覚的埋め込み（VE）を提案する。一文字の文字形状を低次元の画像表現として符号化することで、一括符号化（one-hot）の代わりに形状に敏感な視覚的埋め込みを用いることで、特に訓練時分布外のテストノイズにおいて優れた一般化性能を達成する。

ABSTRACT

Neural machine translation has achieved remarkable empirical performance over standard benchmark datasets, yet recent evidence suggests that the models can still fail easily dealing with substandard inputs such as misspelled words, To overcome this issue, we introduce a new encoding heuristic of the input symbols for character-level NLP models: it encodes the shape of each character through the images depicting the letters when printed. We name this new strategy visual embedding and it is expected to improve the robustness of NLP models because humans also process the corpus visually through printed letters, instead of machinery one-hot vectors. Empirically, our method improves models' robustness against substandard inputs, even in the test scenario where the models are tested with the noises that are beyond what is available during the training phase.

研究の動機と目的

• 誤字やノイズのあるテキストなどの低品質な入力に対して、人間とNMTモデルの間の耐性格差を是正すること。
• NMTモデルの脆弱性の根本的原因が、人間の視覚的処理とは異なる人工的一括符号化ベクトルの使用にあると特定すること。
• 印刷文字の視覚的認識を模倣する新しい符号化戦略「視覚的埋め込み（VE）」を提案し、モデルの耐性を高めること。
• VEが敵対的訓練を超えた一般化を実現することを示し、特に訓練中に見られなかったテスト時のノイズ分布において顕著である。
• 既存の文字レベルNMTモデルへの統合を容易にするために、アーキテクチャの変更を最小限に抑え、計算コストも抑えた。

提案手法

• 各文字を印刷された画像（例：16×16ピクセルのビットマップ）として表現し、その視覚的形状を捉える。
• 次元削減（例：PCAまたはオートエンコーダ）を適用して、画像をコンactな視覚的埋め込み（VE）ベクトルに圧縮する。
• 文字レベルNMTモデルにおける標準的一括符号化埋め込みを、学習済みの視覚的埋め込みに置き換える。
• 耐性を高めるために、訓練中に合成ノイズ（例：誤字、文字置換）を増幅してモデルを訓練する。
• 標準的な敵対的耐性ベンチマークを超えて、訓練中に観測された確率よりも高い確率を持つノイズ分布でテストすることで一般化を評価する。
• 入力層の一括符号化の代わりにVEを即座に差し込めるようにすることで、既存モデルとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 視覚的埋め込みによる文字形状のモデリングが、誤字やノイズなどの低品質な入力に対するNMTの耐性を向上させることができるか？
• RQ2 訓練時分布外のノイズに対して、視覚的埋め込みが標準的一括符号化や敵対的訓練を上回る性能を示すか？
• RQ3 訓練時に見られなかったノイズタイプに対して、視覚的埋め込みはどの程度一般化できるか？
• RQ4 一括符号化と比較して、視覚的埋め込みの統合が学習ダイナミクスや収束速度にどのように影響するか？
• RQ5 文字の形状認識が人間の認識とずれている場合（例：大文字小文字の区別）、どのような状況で視覚的埋め込みが失敗する可能性があるか？

主な発見

• 視覚的埋め込み（VE）を用いたモデルは、標準的一括符号化モデルと比較して、訓練時に見られなかったテスト時のノイズに対して顕著に高い耐性を示す。
• VEベースのモデルは、訓練時に遭遇したノイズのレベルを超えるテスト時のノイズに対しても、強力な性能を維持する。これは、標準的な敵対的訓練では通常失敗する状況である。
• 視覚的埋め込み技術は、一括符号化と比較して入力サイズを削減しつつ、モデルの耐性を維持または向上させる。
• データ増強を超えた一般化がVEによって達成されることから、形状に基づくインダクティブバイアスが、より耐性のある表現を学習するのを助けることが示唆される。
• 収束までにより多くの訓練エポックを要するものの、VEモデルは特に現実世界のノイズ環境において優れた耐性を達成する。
• 本手法は、一括符号化埋め込みを用いる任意の文字レベルNLPモデルに広く適用可能であり、実装コストも最小限に抑えられる。