[논문 리뷰] Learning compositionally through attentive guidance

Dieuwke Hupkes, Anand Singh외 3명|arXiv (Cornell University)|2018. 05. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 19

한 줄 요약

이 논문은 학습 시점 손실인 Attentive Guidance(AG)를 소개한다. AG는 순서 기반 모델의 어텐션을 구성 요소별 입력 요소에 집중시키는 데 목적이 있으며, 아키텍처 수정 없이 체계적이고 일반화 가능한 해결책을 학습할 수 있도록 한다. AG는 검색 테이블 및 기호 재작성 작업에서 체계적 일반화 성능을 크게 향상시켜, 학습 패턴에 과적합하는 일반 모델들을 능가한다.

ABSTRACT

While neural network models have been successfully applied to domains that require substantial generalisation skills, recent studies have implied that they struggle when solving the task they are trained on requires inferring its underlying compositional structure. In this paper, we introduce Attentive Guidance, a mechanism to direct a sequence to sequence model equipped with attention to find more compositional solutions. We test it on two tasks, devised precisely to assess the compositional capabilities of neural models, and we show that vanilla sequence to sequence models with attention overfit the training distribution, while the guided versions come up with compositional solutions that fit the training and testing distributions almost equally well. Moreover, the learned solutions generalise even in cases where the training and testing distributions strongly diverge. In this way, we demonstrate that sequence to sequence models are capable of finding compositional solutions without requiring extra components. These results helps to disentangle the causes for the lack of systematic compositionality in neural networks, which can in turn fuel future work.

연구 동기 및 목표

• 경사 하강법으로 훈련된 표준 순서 기반 모델에서 체계적 구성성의 부족을 해결하기 위해.
• 기본 RNN의 어텐션 메커니즘이 아키텍처적 개선 없이도 구성성 해결책을 향해 이끌릴 수 있는지 조사하기 위해.
• 보조 감독 신호인 Attentive Guidance가 입력 시퀀스의 의미 있고 재사용 가능한 부분 요소에 주의를 기울이도록 모델을 이끌 수 있는지 테스트하기 위해.
• 특히 장기간 또는 새로운 조합에서 분포 이탈이 발생할 경우, 그러한 이끌림이 더 나은 일반화로 이어지는지 평가하기 위해.
• 신경망 모델의 구성성 부족이 어텐션 기능이 유의미한 패턴과 무의미한 패턴을 구분하지 못하기 때문인지 분리하여 분석하기 위해.

제안 방법

• 학습 중에 모델의 어텐션을 특정 의미 있는 입력 토큰에 집중시키기 위해 목표 어텐션 패턴을 제공하는 미분 가능한 손실 항목을 도입한다.
• 이러한 이끌림 신호를 구성성 일반화를 테스트하기 위해 특별히 설계된 검색 테이블 작업과 기호 재작성 작업에 적용한다.
• 표준 순서 기반 모델을 LSTM/GRU 인코더 및 디코더를 사용하여 훈련하며, 표준 도트-프로덕트 어텐션을 통합하고 AG 손실을 통해 어텐션 동역학을 조정한다.
• 다른 연구에서 어휘의 희소성을 강제하기 위해 Gumbel-Softmax를 사용하여 어휘의 희소성만으로 AG의 이점을 재현할 수 있는지 테스트한다.
• 더 긴 시퀀스와 분포 외 테스트 세트에서 일반화 성능을 평가하여 내성적 저항력을 분석한다.
• 추론 중에 완벽한 어텐션 타겟을 제공하는 오라클 이끌림을 사용하여 성능의 상한선을 테스트하고, 어텐션 패턴 일반화가 핵심 장애물인지 평가한다.

실험 결과

연구 질문

• RQ1 아키텍처 변경 없이도 단순한, 미분 가능한 손실 항목이 순서 기반 모델의 어텐션을 더 체계적인 해결책으로 이끌 수 있는가?
• RQ2 테스트 데이터가 훈련 데이터와 다를 경우 Attentive Guidance가 구성성 작업에서 일반화 성능을 향상시키는가?
• RQ3 AG의 성공은 어텐션 가중치의 희소성 때문인가, 아니면 구체적인 이끌림 신호의 구조가 필수적인가?
• RQ4 장기간 조합에서 모델의 일반화 실패가 올바른 어텐션 패턴을 학습하지 못하기 때문인가?
• RQ5 완벽한 어텐션 타겟을 제공함으로써 훈련과 테스트 간 성능 격차를 줄일 수 있는가? 이는 어텐션 패턴 학습이 핵심 장애물임을 시사하는가?

주요 결과

• 어텐션을 갖춘 일반 순서 기반 모델은 훈련 분포에 과적합하고, 특히 분포 이탈 상황에서 새로운 조합으로의 일반화에 실패한다.
• Attentive Guidance로 훈련된 모델는 어텐션 히트맵을 통해 관련 입력 구성 요소에 날카럽게 집중하는 어텐션 패턴을 학습하며, 훈련 및 테스트 분포 간에 강력한 일반화 성능을 보인다.
• 가이드된 모델는 훈련 중에 본 적이 없는 더 긴 조합에서도 검색 테이블 및 기호 재작성 작업에서 거의 완벽한 성능을 달성한다.
• Gumbel-Softmax를 사용한 희소성 강제 실험에서 AG의 성능 향상 효과를 재현하지 못해, 특정 이끌림 신호—단지 희소성만으로는 충분하지 않다.
• 오라클 이끌림(추론 중에 완벽한 어텐션 패턴 제공)은 매우 긴 시퀀스에서도 두 작업 모두 거의 100% 정확도를 달성하여, 어텐션 패턴 일반화가 주요 장애물임을 시사한다.
• 결과적으로 표준 seq2seq 모델은 적절한 목표 함수에 의해 이끌릴 경우 체계적 해결책을 학습할 수 있으며, 이러한 모델의 구성성 부족은 어텐션 기능이 중요한 패턴과 무의미한 패턴을 구분하지 못하기 때문임을 확인한다.