[논문 리뷰] Disentangled Sequence to Sequence Learning for Compositional Generalization

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|2021. 10. 09.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 Dangle을 제안하며, 이는 각 디코딩 단계에서 현재 타겟 컨텍스트를 조건으로 하여 소스 입력을 적응적으로 재인코딩함으로써 조합적 일반화를 향상시키는 시퀀스-투-시퀀스 모델의 확장이다. 이 메커니즘은 표현의 엉키는 현상을 줄여주며, 의미 분석 및 기계 번역 작업에서 예측할 수 없는 조합에 대해 모델이 더 잘 일반화할 수 있도록 돕는다. COGS, CFQ, CoGnition 벤치마크에서 강력한 베이스라인을 능가한다.

ABSTRACT

There is mounting evidence that existing neural network models, in particular the very popular sequence-to-sequence architecture, struggle to systematically generalize to unseen compositions of seen components. We demonstrate that one of the reasons hindering compositional generalization relates to representations being entangled. We propose an extension to sequence-to-sequence models which encourages disentanglement by adaptively re-encoding (at each time step) the source input. Specifically, we condition the source representations on the newly decoded target context which makes it easier for the encoder to exploit specialized information for each prediction rather than capturing it all in a single forward pass. Experimental results on semantic parsing and machine translation empirically show that our proposal delivers more disentangled representations and better generalization.

연구 동기 및 목표

• 표준 시퀀스-투-시퀀스 모델이 알려진 구성 요소의 새로운 조합에 대해 실패하는 이유를 해결한다. 특히, 기존 구성 요소의 새로운 조합에 대한 처리에 어려움을 겪는 문제를 다룬다.
• 숨겨진 상태에서 의미 요소와 관계 등 의미적 요소들이 상호의존적으로 얽혀 있는 표현의 엉키는 현상이 일반화 능력 저하의 주요 원인임을 규명한다.
• 현재 타겟 컨텍스트에 기반해 디코딩 중에 소스 인코딩을 동적으로 조정함으로써 분리된 표현을 가능하게 하는 방법을 개발한다.
• 이러한 방법이 작업 전용 수정 없이도 명시적인 분리 supervision 없이 제로샷 일반화 능력을 향상시킨다는 것을 입증한다.
• COGS, CFQ, CoGnition을 포함한 여러 벤치마크에서 이 방법의 탄탄함과 일반화 능력을 검증한다.

제안 방법

• 각 디코딩 타임스텝에서 현재 디코더의 은닉 상태를 조건으로 하여 소스 입력을 재인코딩하는 적응형 재인코딩 메커니즘을 도입한다.
• 최근에 생성된 타겟 컨텍스트를 기반으로 소스 표현을 조건화함으로써 인코더가 현재 예측에 필요한 의미적 요소에 집중할 수 있도록 한다.
• 표준 시퀀스-투-시퀀스 아키텍처를 수정하여 각 단계에서 디코더 상태 정보를 인코더의 입력 표현에 통합한다.
• 동적 컨텍스트 조건화를 활용해 관계와 개체 등 다양한 구성 요소에 대해 특수화된 표현을 유지하는 컨텍스트 인식 인코더를 사용한다.
• 분리된 표현을 위한 추가 정규화나 supervision 없이도 표준 시퀀스-투-시퀀스 목적함수를 기반으로 엔드 투 엔드로 모델을 훈련한다.
• 의미 분석 및 기계 번역에 모두 이 방법을 적용하여 제로샷 및 분포 외 일반화 능력에서 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 표준 시퀀스-투-시퀀스 모델에서 발생하는 표현의 엉키는 현상이 조합적 일반화에 얼마나 심각한 영향을 미치는가?
• RQ2 현재 타겟 컨텍스트를 조건으로 하여 소스 입력을 재인코딩하는 적응형 메커니즘이 더 분리된 표현을 만들어낼 수 있는가?
• RQ3 이 동적 재인코딩 메커니즘은 의미 분석 및 기계 번역에서 예측할 수 없는 조합적 구조에 대해 일반화 능력을 향상시키는가?
• RQ4 이러한 방법은 제로샷 및 분포 외 설정에서 강력한 베이스라인 및 전용 기법과 비교해 어떻게 성능을 냈는가?
• RQ5 명시적인 분리 supervision 없이도 모델은 익숙한 문법적 및 의미적 구성 요소의 새로운 조합에 일반화할 수 있는가?

주요 결과

• 제안된 Dangle 모델은 COGS 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 어휘적 및 구조적 일반화 작업 모두에서 강력한 베이스라인을 능가했다.
• CFQ 벤치마크에서 Dangle은 특히 복잡하고 중첩된 조합적 쿼리에서 제로샷 일반화 능력에서 뚜렷한 향상을 보였다.
• 기계 번역 작업에서는 Dangle이 5개의 테스트 컨텍스트 전부에서 "behind the small doctor on the floor"와 같은 희귀 복합어어를 정확하게 번역했지만, 베이스라인은 일관되게 실패했다.
• 주의 및 표현 분석 결과로 볼 때, Dangle은 표현의 엉키는 현상을 줄였으며, 특히 관계와 개체에 대해 더 나은 분리도를 보였다.
• 적응형 재인코딩 메커니즘은 더 견고하고 컨텍스트에 특화된 소스 표현을 만들어내어 아키텍처나 데이터셋 전용 수정 없이도 일반화 능력을 향상시켰다.
• 이 방법은 다양한 작업과 도메인에서 일반화되며, 의미 분석, 기계 번역, 논리 추론 벤치마크 전반에서 조합적 일반화 능력 향상에 일관된 성과를 보였다.