[論文レビュー] Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization

Yinuo Guo, Hualei Zhu+4 more|arXiv (Cornell University)|Dec 8, 2020

Machine Learning in Bioinformatics参考文献 41被引用数 5

ひとこと要約

本稿では、神経的シーケンス・ツー・シーケンス・モデルにおける構成的汎化性能の向上を目的として、反復的バックトランスレーション（IBT）を半教師付き手法として調査する。IBTが擬似並列データ内の誤りを段階的に是正することで、CFQおよびSCANベンチマークにおける性能が向上することを示し、擬似データ品質をさらに向上させるためにカリキュラム的反復的バックトランスレーション（CIBT）を提案する。その結果、特に困難な汎化タスクにおいて一貫した性能向上が得られる。

ABSTRACT

Human intelligence exhibits compositional generalization (i.e., the capacity to understand and produce unseen combinations of seen components), but current neural seq2seq models lack such ability. In this paper, we revisit iterative back-translation, a simple yet effective semi-supervised method, to investigate whether and how it can improve compositional generalization. In this work: (1) We first empirically show that iterative back-translation substantially improves the performance on compositional generalization benchmarks (CFQ and SCAN). (2) To understand why iterative back-translation is useful, we carefully examine the performance gains and find that iterative back-translation can increasingly correct errors in pseudo-parallel data. (3) To further encourage this mechanism, we propose curriculum iterative back-translation, which better improves the quality of pseudo-parallel data, thus further improving the performance.

研究の動機と目的

• 反復的バックトランスレーション（IBT）が神経的seq2seqモデルにおける構成的汎化性能を向上させられるかどうかを調査すること。
• IBTがラベル付きデータを超えた汎化性能を向上させる背後にあるメカニズムを理解すること。
• IBTの過程で生成される擬似並列データの品質をさらに向上させる手法を開発すること。
• 標準的な構成的汎化ベンチマーク（CFQおよびSCAN）におけるIBTおよびその拡張形の有効性を評価すること。

提案手法

• 反復的バックトランスレーションは、単語系列モデルを用いてモノリンガルデータから擬似並列データを生成し、その後、元のデータと生成データを交互に前向きおよび後向きの方向に微調整することで適用される。
• この手法は、豊富なモノリンガルデータを活用し、既知のコンポONENTの未知の組み合わせにモデルを晒すことで、構成的汎化を模倣する。
• 擬似データ生成の段階で、より簡単な例を優先するカリキュラム学習戦略を導入し、段階的に複雑さを増すことで、データ品質を向上させる。
• カリキュラムスケジュールはテストセットの難易度に基づいて設計され、例は複雑さ（例：演算の数やトークン数）ごとにグループ化され、擬似データ生成の順序を制御するために用いられる。
• 複数のデータ分割（MCD1、MCD2、MCD3）およびハイパーパramータ設定におけるCFQおよびSCANベンチマークで、精度スコアを用いて性能を評価する。
• 提案されたカリキュラム的反復的バックトランスレーション（CIBT）は、複雑さが増すデータに対して段階的に訓練することで、擬似データ品質を明示的に向上させ、誤り伝搬を低減する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 反復的バックトランスレーションは、ラベル付き並列データを超えた未知の組み合わせへの神経的seq2seqモデルの汎化能力にどのように影響を与えるか？
• RQ2 RQ2: 反復的バックトランスレーションが構成的汎化を向上させる場合、その成功の背後にある主なメカニズムは何か？
• RQ3 RQ3: 擬似並列データの品質をさらに向上させることは可能か。もし可能であれば、その方法は何か？

主な発見

• 反復的バックトランスレーションは、構成的汎化ベンチマークにおける性能を顕著に向上させ、CFQベンチマークのMCD1では1.8%、MCD2では11.3%、MCD3では5.8%の向上を示した。
• IBTによる性能向上は、特に後続のトレーニングイテレーションにおいて、擬似並列データ内の誤りを段階的に是正できる能力に起因する。
• カリキュラム的反復的バックトランスレーション（CIBT）は、すべてのデータ分割およびハイパーパramータ設定において、標準的なIBTを常に上回り、より高い耐性と汎化性能を示した。
• CIBTは、最も困難なサブセット（MCD2）で最大の性能向上を示し、IBTが性能を発揮できない状況においても、カリキュラム学習が特に有効であることが示された。
• 図6は、CIBTがテストデータの複雑さが増すにつれて、より大きな向上を示すことを示しており、カリキュラム学習が困難な例に対してより効果的であることを確認している。
• IBTとCIBTの性能差は、MCD2で最も顕著であり（11.3%の向上）、CIBTのMCD2における性能（69.1%）は、MCD1（66.6%）およびMCD3（70.4%）の性能と同等に近づき、難易度レベル間のバランスが改善されたことを示している。