[논문 리뷰] Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization

Yinuo Guo, Hualei Zhu외 4명|arXiv (Cornell University)|2020. 12. 08.

Machine Learning in Bioinformatics참고 문헌 41인용 수 5

한 줄 요약

이 논문은 신경 시퀀스-투-시퀀스 모델에서 조합 일반화를 향상시키기 위한 준감독 방법으로 반복적 백번역(Iterative Back-Translation, IBT)을 조사한다. IBT가 가짜 병렬 데이터의 오류를 점진적으로 수정함으로써 CFQ 및 SCAN 벤치마크에서 성능을 향상시킨다는 것을 보여주며, 특히 어려운 일반화 작업에서 일관된 성능 향상을 얻기 위해 교육과정 반복적 백번역(Curriculum Iterative Back-Translation, CIBT)을 제안한다.

ABSTRACT

Human intelligence exhibits compositional generalization (i.e., the capacity to understand and produce unseen combinations of seen components), but current neural seq2seq models lack such ability. In this paper, we revisit iterative back-translation, a simple yet effective semi-supervised method, to investigate whether and how it can improve compositional generalization. In this work: (1) We first empirically show that iterative back-translation substantially improves the performance on compositional generalization benchmarks (CFQ and SCAN). (2) To understand why iterative back-translation is useful, we carefully examine the performance gains and find that iterative back-translation can increasingly correct errors in pseudo-parallel data. (3) To further encourage this mechanism, we propose curriculum iterative back-translation, which better improves the quality of pseudo-parallel data, thus further improving the performance.

연구 동기 및 목표

• 반복적 백번역(IBT)이 신경 시퀀스-투-시퀀스 모델의 조합 일반화 능력을 향상시킬 수 있는지 조사하는 것.
• 라벨이 붙은 데이터를 초월해 일반화 능력을 향상시키는 IBT의 성공 원리를 이해하는 것.
• IBT 과정에서 생성된 가짜 병렬 데이터의 품질을 향상시켜 성능을 높일 수 있는 방법을 개발하는 것.
• 표준 조합 일반화 벤치마크(CFQ 및 SCAN)에서 IBT 및 그 개선된 변형의 효과를 평가하는 것.

제안 방법

• 반복적 백번역은 단일 언어 데이터에서 시퀀스-투-시퀀스 모델을 사용해 가짜 병렬 데이터를 생성한 후, 원본 데이터와 생성된 데이터를 번갈아 가며 정렬하는 방식으로 적용된다.
• 이 방법은 풍부한 단일 언어 데이터를 활용해 기존 성분의 새로운 조합을 경험하게 하여 조합 일반화를 시뮬레이션한다.
• 가짜 데이터 생성 과정에서 더 쉬운 예제를 우선순위로 삼고 점차 복잡도를 높이는 교육과정 학습 전략을 도입하여 데이터 품질을 향상시킨다.
• 교육과정 스케줄은 테스트 세트의 난이도에 기반하며, 예를 들어 연산 수나 토큰 수에 따라 복잡도별로 그룹화된 예제를 사용해 가짜 데이터 생성 순서를 안내한다.
• 정확도 점수를 사용해 CFQ 및 SCAN 벤치마크에서 여러 데이터 분할(MCD1, MCD2, MCD3)과 하이퍼파라미터 설정에서 성능을 평가한다.
• 제안된 교육과정 반복적 백번역(CIBT)은 점차적으로 더 복잡한 데이터로 학습함으로써 가짜 데이터 품질을 명시적으로 향상시켜 오류 전파를 줄인다.

실험 결과

연구 질문

• RQ1 RQ1: 반복적 백번역(IBT)은 라벨이 붙은 병렬 데이터를 초월해 알려지지 않은 조합에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ2 RQ2: 반복적 백번역이 조합 일반화 능력을 향상시키는 데 성공한다면, 그 성공의 핵심 메커니즘은 무엇인가?
• RQ3 RQ3: 가짜 병렬 데이터의 품질을 추가로 향상시킬 수 있으며, 만약 그렇다면 어떻게 할 수 있는가?

주요 결과

• 반복적 백번역(IBT)은 조합 일반화 벤치마크에서 성능을 크게 향상시키며, CFQ 벤치마크의 MCD1에서 1.8%, MCD2에서 11.3%, MCD3에서 5.8%의 성능 향상을 기록한다.
• IBT의 성능 향상은 특히 후속 학습 반복에서 가짜 병렬 데이터의 오류를 점진적으로 수정할 수 있는 능력 덕분이다.
• 교육과정 반복적 백번역(CIBT)은 모든 데이터 분할과 하이퍼파라미터 설정에서 표준 IBT를 항상 능가하며, 더 높은 내구성과 일반화 능력을 보여준다.
• CIBT는 가장 도전적인 서브셋(MCD2)에서 가장 큰 성능 향상을 보이며, IBT가 성능을 낮추는 경우에도 특히 효과적임을 시사한다. 이는 교육과정 학습이 어려운 일반화 사례에 특히 유리하다는 것을 의미한다.
• 그림 6은 CIBT가 테스트 데이터의 복잡도가 증가할수록 점점 더 큰 성능 향상을 제공함을 보여주며, 교육과정 학습이 어려운 예제에서 더 효과적임을 확인한다.
• IBT와 CIBT 간의 성능 격차는 MCD2에서 가장 두드러지며(11.3% 향상), 이로 인해 CIBT의 MCD2 성능(69.1%)은 MCD1(66.6%) 및 MCD3(70.4%)의 성능과 유사해져 난이도 수준 간 균형이 향상됨을 나타낸다.